摘要:分布式和集群區(qū)別分布式分布式是指將一個業(yè)務拆分不同的子業(yè)務,分布在不同的機器上執(zhí)行。什么是云計算平臺一個云計算平臺,就是通過一套軟件系統(tǒng)把分布式部署的資源集中調度使用。按業(yè)務的垂直拆庫和按用戶水平拆表是分布式數(shù)據庫中通用的解決方案。
分布式是指將一個業(yè)務拆分不同的子業(yè)務,分布在不同的機器上執(zhí)行,集群是指多臺服務器集中在一起,實現(xiàn)同一業(yè)務,可以視為一臺計算機,一個云計算平臺,就是通過一套軟件系統(tǒng)把分布式部署的資源集中調度使用。要應對大并發(fā),要實現(xiàn)高可用,既需要分布式,也離不開集群。
分布式和集群區(qū)別? 分布式分布式:是指將一個業(yè)務拆分不同的子業(yè)務,分布在不同的機器上執(zhí)行。
集群集群:是指多臺服務器集中在一起,實現(xiàn)同一業(yè)務,可以視為一臺計算機。
多臺服務器組成的一組計算機,作為一個整體存在,向用戶提供一組網絡資源,這些單個的服務器就是集群的節(jié)點。
兩個特點可擴展性:集群中的服務節(jié)點,可以動態(tài)的添加機器,從而增加集群的處理能力。
高可用性:如果集群某個節(jié)點發(fā)生故障,這臺節(jié)點上面運行的服務,可以被其他服務節(jié)點接管,從而增強集群的高可用性。
集群分類常用的集群分類
1.高可用集群(High Availability Cluster)
高可用集群,普通兩節(jié)點雙機熱備,多節(jié)點HA集群。
2.負載均衡集群(Load Balance Cluster)
常用的有 Nginx 把請求分發(fā)給后端的不同web服務器,還有就是數(shù)據庫集群,負載均衡就是,為了保證服務器的高可用,高并發(fā)。
3.科學計算集群(High Performance Computing Cluster)
簡稱HPC集群。這類集群致力于提供單個計算機所不能提供的強大的計算能力。
兩大能力負載均衡:負載均衡能把任務比較均衡地分布到集群環(huán)境下的計算和網絡資源。
集群容錯:當我們的系統(tǒng)中用到集群環(huán)境,因為各種原因在集群調用失敗時,集群容錯起到關鍵性的作用。
例如 Dubbo 的集群容錯:
Failover Cluster
失敗自動切換,當出現(xiàn)失敗,重試其它服務器,通常用于讀操作,但重試會帶來更長延遲。
Failfast Cluster
快速失敗,只發(fā)起一次調用,失敗立即報錯,通常用于非冪等性的寫操作,比如新增記錄。
Failback Cluster
失敗自動恢復,后臺記錄失敗請求,定時重發(fā),通常用于消息通知操作。
Forking Cluster
并行調用多個服務器,只要一個成功即返回,通常用于實時性要求較高的讀操作,但需要浪費更多服務資源。
簡單總結分布式,從狹義上理解,也與集群差不多,但是它的組織比較松散,不像集群,有一定組織性,一臺服務器宕了,其他的服務器可以頂上來。
分布式的每一個節(jié)點,都完成不同的業(yè)務,一個節(jié)點宕了,這個業(yè)務就不可訪問了。
1. 分布式是指將一個業(yè)務拆分不同的子業(yè)務,分布在不同的機器上執(zhí)行。
2. 集群是指多臺服務器集中在一起,實現(xiàn)同一業(yè)務,可以視為一臺計算機。
分布式的每一個節(jié)點,都可以用來做集群。而集群不一定就是分布式了。
什么是云計算平臺?一個云計算平臺,就是通過一套軟件系統(tǒng)把分布式部署的資源集中調度使用。要應對大并發(fā),要實現(xiàn)高可用,既需要分布式,也離不開集群。
比如負載均衡,如果只是一臺服務器,這臺宕機了就完蛋了。
分布式的難點,就是很多機器做存在依賴關系的不同活兒,這些活兒需要的資源、時間區(qū)別可能很大,某些機器還可能罷工,要怎么樣才能協(xié)調好,做到效率最高,消耗最少,不出錯。
分布式的應用場景?平時接觸到的分布式系統(tǒng)有很多種,比如分布式文件系統(tǒng),分布式數(shù)據庫,分布式WebService,分布式計算等等,面向的情景不同,但分布式的思路是否是一樣的呢?
1.簡單的例子假設我們有一臺服務器,它可以承擔1百萬/秒的請求,這個請求可以的是通過http訪問網頁,通過tcp下載文件,jdbc執(zhí)行sql,RPC調用接口…,現(xiàn)在我們有一條數(shù)據的請求是2百萬/秒,很顯然服務器hold不住了,會各種拒絕訪問,甚至崩潰,宕機,怎么辦呢。
一臺機器解決不了的問題,那就兩臺。所以我們加一臺機器,每臺承擔1百萬。如果請求繼續(xù)增加呢,兩臺解決不了的問題,那就三臺唄。
這種方式我們稱之為水平擴展。如何實現(xiàn)請求的平均分配便是負載均衡了。
另一個栗子,我們現(xiàn)在有兩個數(shù)據請求,數(shù)據1 90萬,數(shù)據2 80萬,上面那臺機器也hold不住,我們加一臺機器來負載均衡一下,每臺機器處理45萬數(shù)據1和40萬數(shù)據2,但是平分太麻煩,不如一臺處理數(shù)據1,一臺處理數(shù)據2,同樣能解決問題,這種方式我們稱之為垂直拆分。
水平擴展和垂直拆分是分布式架構的兩種思路,但并不是一個二選一的問題,更多的是兼并合用。下面介紹一個實際的場景。這也是許多互聯(lián)網的公司架構思路。
2.實際的例子我此時所在的公司的計算機系統(tǒng)很龐大,自然是一個整的分布式系統(tǒng),為了方便組織管理,公司將整個技術部按業(yè)務和平臺拆分為部門,訂單的,會員的,商家的等等,每個部門有自己的web服務器集群,數(shù)據庫服務器集群,通過同一個網站訪問的鏈接可能來自于不同的服務器和數(shù)據庫,對網站及底層對數(shù)據庫的訪問被分配到了不同的服務器集群,這個便是典型的按業(yè)務做的垂直拆分,每個部門的服務器在hold不住時,會有彈性的擴展,這便是水平擴展。
在數(shù)據庫層,有些表非常大,數(shù)據量在億級,如果只是純粹的水平的擴展并不一定最好,如果對表進行拆分,比如可以按用戶id進行水平拆表,通過對id取模的方式,將用戶劃分到多張表中,同時這些表也可以處在不同的服務器。按業(yè)務的垂直拆庫和按用戶水平拆表是分布式數(shù)據庫中通用的解決方案。
比如 Mycat 開源分布式數(shù)據庫中間件 http://www.mycat.io/
3.分布式一致性分布式系統(tǒng)中,解決了負載均衡的問題后,另外一個問題就是數(shù)據的一致性了,這個就需要通過同步來保障。根據不同的場景和需求,同步的方式也是有選擇的。
在分布式文件系統(tǒng)中,比如商品頁面的圖片,如果進行了修改,同步要求并不高,就算有數(shù)秒甚至數(shù)分鐘的延遲都是可以接受的,因為一般不會產生損失性的影響,因此可以簡單的通過文件修改的時間戳,隔一定時間掃描同步一次,可以犧牲一致性來提高效率。
但銀行中的分布式數(shù)據庫就不一樣了,一丁點不同步就是無法接受的,甚至可以通過加鎖等犧牲性能的方式來保障完全的一致。
在一致性算法中paxos算法是公認的最好的算法,Chubby、ZooKeeper 中Paxos是它保證一致性的核心。這個算法比較難懂,我目前也沒弄懂,這里就不深入了。
Contact作者:鵬磊
出處:http://www.ymq.io/2018/01/23/Distributed-cluster/
Email:admin@souyunku.com
版權歸作者所有,轉載請注明出處
Wechat:關注公眾號,搜云庫,專注于開發(fā)技術的研究與知識分享
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/25219.html
摘要:云存儲主要技術路線有哪些各有哪些優(yōu)缺點分享一存儲虛擬化存儲虛擬化更多是對傳統(tǒng)塊的虛擬化。也是云存儲的主流當家花旦。哪些應用場景適合云存儲?存儲虛擬化、分布式存儲、對象存儲這幾種技術主要解決什么問題?技術產品選型如何考慮? 企業(yè)哪些應用場景適合借助云存儲來實現(xiàn)? 傳統(tǒng) IT 環(huán)境中使用傳統(tǒng)存儲的困境有那些?那些應用場景是傳統(tǒng)存儲不能滿足而必須借助云存儲來實現(xiàn)的? 分享一: ...
摘要:云存儲主要技術路線有哪些各有哪些優(yōu)缺點分享一存儲虛擬化存儲虛擬化更多是對傳統(tǒng)塊的虛擬化。也是云存儲的主流當家花旦。 哪些應用場景適合云存儲?存儲虛擬化、分布式存儲、對象存儲這幾種技術主要解決什么問題?技術產品選型如何考慮?企業(yè)哪些應用場景適合借助云存儲來實現(xiàn)?傳統(tǒng) IT 環(huán)境中使用傳統(tǒng)存儲的困境有那些?那些應...
摘要:大數(shù)據時代第三次信息化浪潮年前后,以云計算大數(shù)據物聯(lián)網的首發(fā)為標志迎來第三次信息化浪潮。大數(shù)據的發(fā)展歷程大數(shù)據的概念和影響大數(shù)據的特性特性指。處理大規(guī)模圖結構數(shù)據。物聯(lián)網應用大數(shù)據云計算物聯(lián)網的關系三者相輔相成,既有聯(lián)系又有區(qū)別。 ...
摘要:集群默認對所有租戶開放權限,平臺支持對存儲集群進行權限控制,用于將部分物理存儲資源獨享給一個或部分租戶使用,適用于專屬私有云場景。支持租戶將有權限的存儲卷信息作為虛擬機的系統(tǒng)盤,使虛擬機直接運行直商業(yè)存儲中,提升性能。4.1.1 地域地域 ( Region ) 指 UCloudStack 云平臺物理數(shù)據中心的地理區(qū)域,如上海、北京、杭州等。不同地域間完全物理隔離,云平臺資源創(chuàng)建后不能更換地域...
閱讀 1832·2021-09-22 15:23
閱讀 3255·2021-09-04 16:45
閱讀 1842·2021-07-29 14:49
閱讀 2767·2019-08-30 15:44
閱讀 1523·2019-08-29 16:36
閱讀 1037·2019-08-29 11:03
閱讀 1503·2019-08-26 13:53
閱讀 503·2019-08-26 11:57