摘要:這里的某種規則都包含哪些規則呢這就涉及到數據庫的分片規則問題了,這個松哥在后面的文章中也會和大家一一展開詳述。
千萬量級的數據,用 MySQL 要怎么存?
初學者在看到這個問題的時候,可能首先想到的是 MySQL 一張表到底能存放多少條數據?
根據 MySQL 官方文檔的介紹,MySQL 理論上限是 (232)2 條數據,然而實際操作中,往往還受限于下面兩條因素:
myisam_data_pointer_size,MySQL 的 myisam_data_pointer_size 一般默認是 6,即 48 位,那么對應的行數就是 248-1。
表的存儲大小 256TB
那有人會說,只要我的數據大小不超過上限,數據行數也不超過上限,是不是就沒有問題了?其實不盡然。
在實際項目中,一般沒有哪個項目真的觸發到 MySQL 數據的上限了,因為當數據量變大了之后,查詢速度會慢的嚇人,而一般這個時候,你的數據量離 MySQL 的理論上限還遠著呢!
傳統的企業應用一般數據量都不大,數據也都比較容易處理,但是在互聯網項目中,上千萬、上億的數據量并不鮮見。在這種時候,還要保證數據庫的操作效率,我們就不得不考慮數據庫的分庫分表了。
那么接下來就和大家簡單聊一聊數據庫分庫分表的問題。
數據庫切分看這個名字就知道,就是把一個數據庫切分成 N 多個數據庫,然后存放在不同的數據庫實例上面,這樣做有兩個好處:
降低單臺數據庫實例的負載
可以方便的實現對數據庫的擴容
一般來說,數據庫的切分有兩種不同的切分規則:
水平切分
垂直切分
接下來我們就對這兩種不同的切分規則分別進行介紹。
水平切分先來一張簡單的示意圖,大家感受一下什么是水平切分:
假設我的 DB 中有 table-1、table-2 以及 table-3 三張表,水平切分就是拿著我的絕世好劍,對準黑色的線條,砍一劍或者砍 N 劍!
砍完之后,將砍掉的部分放到另外一個數據庫實例中,變成下面這樣:
這樣,原本放在一個 DB 中的 table 現在放在兩個 DB 中了,觀察之后我們發現:
兩個 DB 中表的個數都是完整的,就是原來 DB 中有幾張表,現在還是幾張。
每張表中的數據是不完整的,數據被拆分到了不同的 DB 中去了。
這就是數據庫的水平切分,也可以理解為按照數據行進行切分,即按照表中某個字段的某種規則來將表數據分散到多個庫之中,每個表中包含一部分數據。
這里的某種規則都包含哪些規則呢?這就涉及到數據庫的分片規則問題了,這個松哥在后面的文章中也會和大家一一展開詳述。這里先簡單說幾個常見的分片規則:
按照日期劃分:不容日期的數據存放到不同的數據庫中。
對 ID 取模:對表中的 ID 字段進行取模運算,根據取模結果將數據保存到不同的實例中。
使用一致性哈希算法進行切分。
詳細的用法,將在后面的文章中和大家仔細說。
垂直切分先來一張簡單的示意圖,大家感受一下垂直切分:
所謂的垂直切分就是拿著我的屠龍刀,對準了黑色的線條砍。砍完之后,將不同的表放到不同的數據庫實例中去,變成下面這個樣子:
這個時候我們發現如下幾個特點:
每一個數據庫實例中的表的數量都是不完整的。
每一個數據庫實例中表的數據是完整的。
這就是垂直切分。一般來說,垂直切分我們可以按照業務來劃分,不同業務的表放到不同的數據庫實例中。
老實說,在實際項目中,數據庫垂直切分并不是一件容易的事,因為表之間往往存在著復雜的跨庫 JOIN 問題,那么這個時候如何取舍,就要考驗架構師的水平了!
優缺點分析通過上面的介紹,相信大家對于水平切分和垂直切分已經有所了解,優缺點其實也很明顯了,松哥再來和大家總結一下。
水平切分優點
水平切分最大的優勢在于數據庫的擴展性好,提前選好切分規則,數據庫后期可以非常方便的進行擴容。
有效提高了數據庫穩定性和系統的負載能力。拆分規則抽象好, join 操作基本可以數據庫做。
缺點
水平切分后,分片事務一致性不容易解決。
拆分規則不易抽象,對架構師水平要求很高。
跨庫 join 性能較差。
垂直切分優點
一般按照業務拆分,拆分后業務清晰,可以結合微服務一起食用。
系統之間整合或擴展相對要容易很多。
數據維護相對簡單。
缺點
最大的問題在于存在單庫性能瓶頸,數據表擴展不易。
跨庫 join 不易。
事務處理復雜。
結語雖然 MySQL 中數據存儲的理論上限比較高,但是在實際開發中我們不會等到數據存不下的時候才去考慮分庫分表問題,因為在那之前,你就會明顯的感覺到數據庫的各項性能在下降,就要開始考慮分庫分表了。
好了,今天主要是向大家介紹一點概念性的東西,算是我們分布式數據庫中間件正式出場前的一點鋪墊。
參考資料:
MySQL 官方文檔
關注公眾號【江南一點雨】,專注于 Spring Boot+微服務以及前后端分離等全棧技術,定期視頻教程分享,關注后回復 Java ,領取松哥為你精心準備的 Java 干貨!
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/74989.html
摘要:引入中間件之后,我們的應用程序將只需要連接就行了,再由去操作各種不同的,各個分布式數據庫的排序結果集合并數據過濾等操作都在中完成,這樣我們的應用又可以專注于業務的開發了,那些繁瑣的重復的操作,又交給去完成。 關于 MyCat 的鋪墊文章已經寫了兩篇了: MySQL 只能做小項目?松哥要說幾句公道話! 北冥有 Data,其名為鯤,鯤之大,一個 MySQL 放不下! 今天是最后一次鋪墊...
閱讀 2130·2021-11-18 10:07
閱讀 3507·2021-09-04 16:48
閱讀 3214·2019-08-30 15:53
閱讀 1235·2019-08-30 12:55
閱讀 2453·2019-08-29 15:08
閱讀 3149·2019-08-29 15:04
閱讀 2879·2019-08-29 14:21
閱讀 2906·2019-08-29 11:21