摘要:在分布式數(shù)據(jù)庫中,一份數(shù)據(jù)往往會存儲多份拷貝所謂冗余,或者現(xiàn)在,假設(shè)我們有一個服務(wù)器節(jié)點,存有三個數(shù)據(jù)分別是,。
Riak 是什么
Riak 是一個 erlang 開發(fā)的開源的分布式 key-value 數(shù)據(jù)庫,
在 High Availability, Fault Tolerance, Scalability 方面表現(xiàn)優(yōu)異。
其實現(xiàn)受 Amazon Dynamodb 啟發(fā),是一個很有代表性的分布式數(shù)據(jù)庫。
Riak 集群是一個去中心化的集群。每個服務(wù)器節(jié)點都是平等的,可以自由地添加和刪除。
這使得 Riak 的故障轉(zhuǎn)移(Failure Over)和擴(kuò)展非常容易。
在 CAP 理論方面,Riak 可以自由地在 CP 和 AP 之間做平衡。
下面還是讓我們從簡單的例子開始,來理解下 Riak 的分布式數(shù)據(jù)庫模型,包括數(shù)據(jù)的存儲,節(jié)點服務(wù)器的,CAP理論的關(guān)系等。
首先讓我們先定義一個概念:N,表示數(shù)據(jù)的"份數(shù)"。在分布式數(shù)據(jù)庫中,一份數(shù)據(jù)往往會存儲多份拷貝(所謂冗余,或者 replications)
現(xiàn)在,假設(shè)我們有一個服務(wù)器節(jié)點(node1),存有三個數(shù)據(jù)(key分別是 P0, P1, P2),N = 1。那么可以想象,這三個數(shù)據(jù)都是存放在 node1 中。如下圖所示:
當(dāng) N = 2 時,假設(shè) P0, P1, P2 的冗余數(shù)據(jù)分別是 R0, R1, R2, 那么可以想象,這6個數(shù)據(jù)也應(yīng)該都存儲在 node1 中,如 下圖所示:
這時候,讓我們把服務(wù)器節(jié)點增加到2個(node1, node2),那么可以想象,6個數(shù)據(jù)有很多中組合方式,例如下面這兩種:
也許你發(fā)現(xiàn)了,他們有個共同點:同一個數(shù)據(jù)的冗余數(shù)據(jù)放在不同的服務(wù)器節(jié)點中。這樣就算一個節(jié)點刪除(當(dāng)機)了,集群的數(shù)據(jù)仍然能保證完整性。
這為故障轉(zhuǎn)移(Failure over)提供了基礎(chǔ)。
那么現(xiàn)在的問題來了,是否有什么科學(xué)(公式化)的方式來找到分配這些數(shù)據(jù)的組合(之一)呢?
Riak RingRiak 通過被稱作 Riak Ring 的東西來解決這個問題。
首先,Riak 將所有的 key 通過 hash 函數(shù)映射到一個 160 bit 的整數(shù)空間中。
即一個 key 對應(yīng)著一個 0 ~ 2^160 - 1 的整數(shù)。
然后,Riak 引入了 vnode(虛擬節(jié)點) 的概念,vnode 個數(shù)是可以配置的,默認(rèn)是 64。
160 bit 的整數(shù)會均勻的分布到所有的 vnode。
最后,這些 vnode 會"均勻地"分配到 物理節(jié)點上。具體的分配的方法很巧妙,通過 Riak Ring 這樣的東西。
下面我們用一幅圖來具體解釋下 Riak Ring。圖中,假設(shè) vnode 32 個,服務(wù)器節(jié)點 4個。
讓我們把 160 bit 想像成一個環(huán),環(huán)上的一小段代表一個 vnode。四種顏色分別代表 4 個服務(wù)器節(jié)點。
2^160 個整數(shù)按照從小到大的順序均勻地分布到 32 個 vnode 中,例如 2^159 是第 17 個 vnode 上的第一個整數(shù)。
32 個 vnode 按照從小到大的順序依次被分配到 4 個服務(wù)器節(jié)點上。即:
1, 5, 9...29 vnode 分配給第1個服務(wù)器節(jié)點(node1)
2, 6, 10...30 vnode 分配給第1個服務(wù)器節(jié)點(node2)
3, 7, 11...31 vnode 分配給第1個服務(wù)器節(jié)點(node3)
4, 8, 12...32 vnode 分配給第1個服務(wù)器節(jié)點(node4)
現(xiàn)在還剩下一個問題:
冗余數(shù)據(jù)的存儲
我們先假設(shè) N = 3(即有2份冗余存儲)
假設(shè)要存儲的數(shù)據(jù),key 為 test-key ,根據(jù) Riak Ring 算出來,應(yīng)該存儲在 vnode6(即:node2)上。
那么 拷貝1 存儲在 vnode7(即:node3)上,拷貝2 存儲在 vnode8(即:node4)上。
所以 Riak 對于冗余數(shù)據(jù)的存儲策略是:將冗余數(shù)據(jù)依次存到下一個vnode中。
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://specialneedsforspecialkids.com/yun/17459.html
摘要:和上一篇博文一樣,這次我們依舊以為案例,來分析理論在一個實際的分布式數(shù)據(jù)庫中的作用。這次我們來看看,在這樣的分布式數(shù)據(jù)庫中,理論是怎么起作用的。需要最終包含正確的值的服務(wù)器節(jié)點總數(shù)正確的冗余數(shù)據(jù)拷貝數(shù)。其實這就是關(guān)系型數(shù)據(jù)庫的做法。 和上一篇博文一樣,這次我們依舊以 Riak 為案例,來分析 CAP 理論在一個實際的分布式數(shù)據(jù)庫中的作用。 如果你還不熟悉 CAP,可以參考我之前的兩篇博...
閱讀 2404·2021-10-14 09:43
閱讀 2435·2021-09-09 09:34
閱讀 1601·2019-08-30 12:57
閱讀 1198·2019-08-29 14:16
閱讀 718·2019-08-26 12:13
閱讀 3201·2019-08-26 11:45
閱讀 2282·2019-08-23 16:18
閱讀 2652·2019-08-23 15:27