數據庫的分庫分表

elarity 發布于2019-08-16 18:37 / 979人閱讀

摘要：如成千上萬的螞蟻完成一項搬運工作縱向擴展又叫垂直擴展，擴展一個點的能力支撐更大的請求。如利用個人的能力，如蜘蛛俠逼停火車參考分庫分表的基本思想

一概念:什么是分庫分表(sharding)

1 將集中于單一節點的數據拆分并分別存儲到多個數據庫或表,稱為分庫分表
2 數據切分分為兩種方式,垂直切分和水平切分
3 分庫:因為表多導致數據過多使用垂直切分,垂直切分就是根據業務的耦合性,將關聯度低的不同表存儲在不同的數據庫,按照業務分離進行獨立存儲
4 分表:每張表的數據非常多適合使用水平切分,即把表的數據按某種規則切分到多個數據庫上

二用途:分庫分表用來解決什么問題

數據庫面對海量數據由于數據量過大導致的性能問題

三用例:具體的使用用例,解決了什么典型問題

Sharding的基本思想就要把一個數據庫切分成多個部分方法哦不同的數據庫server上,從而緩解單一數據庫的性能問題,

中間件

當當 sharding-jdbc

蘑菇街 TSharding

sharding

TDDL Smart Client的方式 -- 淘寶

Atlas -- 360

alibaba.cobar 阿里巴巴B2B

MyCat 基于阿里開源的Cobar

Oceanus 58同城

OneProxy 支付寶首席架構師樓方鑫

vitess 谷歌

分庫分表后會遇到什么問題?

事務問題方案一,使用分布式事務. 方案二, 由應用程序和數據庫共同控制

跨節點Join的問題方案,兩次查詢第一次找出關聯數據的ID,第二次根據這些ID獲得關聯數據

跨節點的count,order by,group by以及聚合函數問題方案,并行在各節點上查詢然后合并結果

數據遷移,容量規劃,擴容問題

       來自淘寶綜合業務平臺團隊，它利用對2的倍數取余具有向前兼容的特性（如對4取余得1的數對2取余也是1）來分配數據，避免了行級別的數據遷移，但是依然需要進行表級別的遷移，同時對擴容規模和分表數量都有限制。總得來說，這些方案都不是十分的理想，多多少少都存在一些缺點，這也從一個側面反映出了Sharding擴容的難度

ID問題

UUID , 結合數據庫維護一個Sequence , [Twitter的分布式自增ID算法Snowflake][1]

跨分片的排序分頁方案,限制能查看的頁數,一定要查看可縮小范圍重新查看

分庫策略根據數值取模

分庫數量初次建議 4 - 8

路由透明

使用框架還是自主研發

擴容

  //TODO

四其他解決方案

主從  讀寫分離  緩存

五熟悉原理,重新實現

//TODO

備注

1 , 橫向擴展也叫水平擴展，用更多的節點支撐更大量的請求。如成千上萬的螞蟻完成一項搬運工作
2 , 縱向擴展又叫垂直擴展，擴展一個點的能力支撐更大的請求。如利用1個人的能力，如蜘蛛俠逼停火車
3 , 參考分庫分表的基本思想

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/75462.html

一次難得的分庫分表實踐

摘要：煩人的數據遷移分表規則弄好后其實只是完成了分表的第一步，真正麻煩的是數據遷移，或者說是如何做到對業務影響最小的數據遷移。 showImg(https://segmentfault.com/img/remote/1460000020003851?w=1920&h=1080); 背景前不久發過兩篇關于分表的文章：一次分表踩坑實踐的探討分表后需要注意的二三事從標題可以看得出來，當...

Harpsichord1207 2019-08-19 10:22 評論0 收藏0
“分庫分表" ？選型和流程要慎重，否則會失控

摘要：但你是否知道分庫分表需要哪些要素拆分過程是復雜的，提前計劃，不要等真正開工，各種意外的工作接踵而至，以至失控。在實施分庫分表策略時，這些個性會造成策略過大不好維護。更多文章關注微信公眾號《小姐姐味道》 https://mp.weixin.qq.com/s?__... 數據庫中間件之分庫分表恭喜你，貴公司終于成長到一定規模，需要考慮高可用，甚至分庫分表了。但你是否知道分庫分表需要哪...

archieyang 2019-08-16 13:56 評論0 收藏0
Furion分表分庫我也要happy coding

摘要：分表分庫集成易用簡單高性能普適性，是一款擴展針對生態下的分表分庫的擴展解決方案支持的所有版本支持的所有數據庫支持自定義路由動態路由高性能分頁讀寫分離的一款組件，如果你喜歡這組件或者這個組件對你有幫助請點擊下發讓更多的可以看到使用助力生態 Furion分表分庫集成ShardingCore ShardingCore ShardingCore 易用、簡單、高性能、普適性，是一款擴展針對efcor...

KnewOne 2021-11-24 09:39 評論0 收藏0
金幣（積分）商城架構漫談

摘要：開篇金幣積分商城下稱商城是眾多內的一個產品，隨著使用的用戶越來越多，商城對于用戶留存的提升，扮演著重要的角色做為提高用戶黏性的核心產品，在擁有很好用戶體驗的同時，也必須存在著一個高效穩定的系統。分析上述兩點，得到結論按用戶進行分庫分表。開篇金幣（積分）商城（下稱商城）是眾多App內的一個產品，隨著App使用的用戶越來越多，商城對于用戶留存的提升，扮演著重要的角色；做為提高用戶黏性的...

Ethan815 2019-08-14 18:35 評論0 收藏0