問答專欄Q & A COLUMN
我是【會點(diǎn)代碼的大叔】，每天為你分享程序員干貨，關(guān)注并私信我數(shù)字“1”，送你一份程序員大禮包。
MySQL 數(shù)據(jù)庫某張表近千萬的數(shù)據(jù)，CRUD比較慢，如何優(yōu)化？
說實(shí)話，這個數(shù)據(jù)量級， MySQL 單庫單表支撐起來完全沒有問題的，所以首先還是考慮數(shù)據(jù)庫本身的優(yōu)化。
從上圖可以看到，數(shù)據(jù)庫優(yōu)化通常可以通過以上幾點(diǎn)來實(shí)現(xiàn)：
對于開發(fā)人員來說，我們需要把注意力放在后面三點(diǎn)：
優(yōu)化 SQL 語句執(zhí)行速度的方法有很多，比如：
說完了 MySQL 本身的優(yōu)化，如果數(shù)據(jù)量進(jìn)一步增大的話，我們還有什么優(yōu)化的方案呢？
主庫用于寫，從庫用于讀，將讀寫分散在不同的數(shù)據(jù)庫上，利用多臺機(jī)器的資源，來提高數(shù)據(jù)庫的可用性和性能。
如果數(shù)據(jù)持續(xù)增多，超過了單臺 MySQL 的支撐上限，那么只能用【分庫分表】這一招了；我們可以采用一定的路由規(guī)則，將數(shù)據(jù)保存到不同的數(shù)據(jù)庫中。
當(dāng)然，如果不是“迫不得已”，我是不太建議分庫分表的，因?yàn)檫@樣極大地增加了系統(tǒng)的復(fù)雜程度，并且會帶來更多的問題需要開發(fā)人員解決。
以上就是常用的 MySQL 優(yōu)化方案，如果是千萬級數(shù)據(jù)量，優(yōu)化 MySQL 本身即可。
評論0
加載中...
MySQL 數(shù)據(jù)庫某張表近千萬的數(shù)據(jù)，CRUD比較慢，如何優(yōu)化？最常見的是線程池優(yōu)化、索引優(yōu)化、緩存優(yōu)化、讀寫分離、數(shù)據(jù)庫拆分等，上述4種優(yōu)化可以從不同角度來優(yōu)化我們的數(shù)據(jù)庫操作，其中的可操作性性要看團(tuán)隊的技術(shù)能力和應(yīng)用的維護(hù)能力，我就以自己遇到過的應(yīng)用場景簡單談?wù)勛约旱膬?yōu)化流程。
換到新的團(tuán)隊，遇到的第一個棘手問題就是數(shù)據(jù)庫不定時的出現(xiàn)“Cannot get a connection, pool error Timeout waiting for idle object”，經(jīng)和DBA溝通，其反饋數(shù)據(jù)庫group（數(shù)據(jù)庫量級4kw+）中的查詢邏輯很多，qps達(dá)1w+，并且慢sql積壓，拖垮了數(shù)據(jù)庫。從慢sql和上述查詢異常著手，進(jìn)行千萬級的數(shù)據(jù)庫優(yōu)化。
1. 線程池優(yōu)化。線上的讀線程池16，寫線程池池16，考慮到數(shù)據(jù)查詢時獲取不到數(shù)據(jù)庫連接，將讀線程池調(diào)整為32，其優(yōu)化效果不明顯，數(shù)據(jù)庫建立連接的異常仍然存在。
2.索引優(yōu)化。經(jīng)和DBA分析相關(guān)的慢sql語句，發(fā)現(xiàn)其索引都是完備的，也就是說每個查詢都可以落到對應(yīng)的索引邏輯，這點(diǎn)兒我們心里是有數(shù)的，畢竟線上正常運(yùn)行了2年多數(shù)據(jù)庫，當(dāng)時建庫和查詢時肯定考慮到了索引的情況。也就是說，在這方面沒有優(yōu)化的余地。
3.緩存優(yōu)化。經(jīng)排查，線上的相關(guān)操作采用緩存加速，緩存時間1h或24h不等，考慮到數(shù)據(jù)庫瓶頸和更新數(shù)據(jù)刪緩存的邏輯，將緩存時間延長至7天。該優(yōu)化邏輯上線后，數(shù)據(jù)庫異常有所減弱，但問題仍未解決。偶爾發(fā)現(xiàn)，客戶端偶爾會請求服務(wù)端不存在的數(shù)據(jù)，引發(fā)緩存穿透。而針對該庫涉及到的可能存在緩存穿透的邏輯，進(jìn)行了一系列優(yōu)化。優(yōu)化之后，效果特別明顯，也就是在線上業(yè)務(wù)達(dá)到一定量級時，要特別注意緩存穿透，這點(diǎn)在業(yè)務(wù)剛開始時很容易被忽略。
4.讀寫分離。雖然通過緩存穿透的優(yōu)化處理，解決了數(shù)據(jù)庫連接異常的問題，但是讀寫分離仍然值得嘗試，讀寫分離是應(yīng)對讀多寫少業(yè)務(wù)的一大利器，一主多從的讀寫分離模式被引入彈性數(shù)據(jù)庫體系，讓我們在特殊節(jié)點(diǎn)的業(yè)務(wù)保障更有信心。
5.數(shù)據(jù)庫拆分，也就是分庫分表。業(yè)務(wù)發(fā)展到一定程度，分庫分表是優(yōu)化的必經(jīng)之路，也是我們團(tuán)隊一項(xiàng)很重要的優(yōu)化業(yè)務(wù)，但限于業(yè)務(wù)場景、分庫分表規(guī)則、多維度查詢、團(tuán)隊研發(fā)資源等，目前正在規(guī)劃中。
綜上所述，通過優(yōu)化緩存穿透和讀寫分離解決了我們線上業(yè)務(wù)的數(shù)據(jù)庫性能問題，可操作性強(qiáng)，風(fēng)險相對降低。
作者：夕陽雨晴，歡迎關(guān)注我的頭條號：偶爾美文，主流Java，為你講述不一樣的碼農(nóng)生活。
評論0
加載中...0
回答0
回答0
回答0
回答0
回答0
回答0
回答0
回答0
回答0
回答
