摘要:分布式鎖實現方式前言目前幾乎很多大型網站及應用都是分布式部署的,分布式場景中的數據一致性問題一直是一個比較重要的話題。基于數據庫實現分布式鎖基于緩存等實現分布式鎖基于實現分布式鎖。
前言
分布式鎖,是控制分布式系統之間同步訪問共享資源的一種方式
在分布式系統中,常常需要協調他們的動作。如果不同的系統或是同一個系統的不同主機之間共享了一個或一組資源,那么訪問這些資源的時候,往往需要互斥來防止彼此干擾來保證一致性,在這種情況下,便需要使用到分布式鎖。
這里主要簡單介紹三種方式:基于數據庫實現方式、基于redis實現方式、基于ZooKeeper實現方式。
場景舉例假設有一個進程A,每小時準點給用戶發送一條短信"Hello world",為了高可用,就必須在多臺機器上面部署多個進程,避免宕機的情況;
假設部署在兩臺機器,那么問題來了,用戶每個小時就會收到兩條"Hello world",信息就重復了;
我們希望只發送一條"Hello world",那么就可以引入分布式鎖的概念了;
進程A和進程B發送短信前先去注冊一個鎖,假設進程A搶到了鎖,進程B就等待結果,如果發送成功了,那么B就放棄此次任務,等待下一個小時。
問題的核心就在于怎么注冊鎖,檢查鎖的存在和注冊鎖是一個原子性操作,類似mysql的主鍵,存在則不能insert,就是說你不能把我的鎖覆蓋了,你得等著;
我們有多種方式可以實現分布式鎖,最簡單的就是以每小時準點這個時間作為主鍵,到mysql寫入一條數據,利用數據庫來維持一致性。
為什么要使用分布式鎖我們在開發應用的時候,如果需要對某一個共享變量進行多線程同步訪問的時候,可以使用我們學到的java多線程解決。
注意這是單機應用,也就是所有的請求都會分配到當前服務器的jvm內部,然后映射為操作系統的線程進行處理,而這個共享變量只是在這個jvm內部的一塊內存空間。
后來業務發展,需要做集群,一個應用需要部署到幾臺機器上然后做負載均衡,大致如下圖:
上圖分析:
(1)變量A存在JVM1、JVM2、JVM3三個JVM內存中(這個變量A主要體現是在一個類中的一個成員變量,是一個有狀態的對象),如果不加任何控制的話,變量A同時都會在JVM1、JVM2、JVM3中分配一塊內存; (2)三個請求發過來同時對這個變量進行操作,顯然結果是不同的。 (3)即使不是同時發過來,三個請求分別操作三個不同JVM內存區域的數據,變量A之間不存在共享,也不具有可見性,處理的結果也是不對的。 (4)如果我們業務中存在這種場景的話,我們就需要一種方法解決這個問題。
為了保證一個方法或者屬性在高并發情況下的同一時間只能被同一個線程執行,在傳統單機應用單機部署的情況下,可以使用java并發處理的相關API進行互斥控制(如ReentrantLock或Synchronized)。
在單機環境中,java中提供了很多并發處理相關的API。
但是隨著業務發展的需要,原單體單機部署的系統被演化成分布式集群系統后,由于分布式系統多線程、多進程并且分布在不同機器上,這將使原單機部署情況下的并發控制鎖策略失效,單純的java API并不能提供分布式鎖的能力。
為了解決這個問題,就需要一種跨JVM的互斥機制來控制共享資源的訪問,這就是分布式鎖要解決的問題。
分布式鎖應該具備的條件在分布式系統環境下,一個方法在同一時間只能被一個機器的的一個線程執行;
高可用的獲取鎖與釋放鎖;
高性能的獲取鎖與釋放鎖;
具備可重入特性;
具備鎖失效機制,防止死鎖;
具備非阻塞鎖特性,即沒有獲取到鎖將直接返回獲取鎖失敗。
分布式鎖實現方式-前言目前幾乎很多大型網站及應用都是分布式部署的,分布式場景中的數據一致性問題一直是一個比較重要的話題。
分布式的CAP理論告訴我們,任何一個分布式系統都無法同時滿足一致性、可用性、和分區容錯性,最多只能同時滿足兩項。
所以,很多系統在設計之初就對這三項做了取舍。在互聯網領域的絕大多數的場景中,都需要犧牲強一致性來換取系統的高可用性,系統往往只需要保證最終一致性,只要這個最終時間實在用戶可以接受的范圍內即可。
在很多場景中,我們為例保證數據的最終一致性,需要很多的技術方案來支持,比如分布式事務、分布式鎖等,有時候我們需要保證一個方法在同一個線程執行。
基于數據庫實現分布式鎖;基于緩存redis等實現分布式鎖;基于Zookeeper實現分布式鎖。
基于數據庫的實現方式基于數據庫的實現方式核心思想:在數據庫中創建一個表,表中包含方法名等字段,并在方法名字段上創建唯一索引,想要執行某個方法,就使用這個方法名向表中插入數據,成功插入則獲取鎖,執行完成后刪除對應的行數據釋放鎖。
創建一個表:
DROP TABLE IF EXISTS `method_lock`; CREATE TABLE `method_lock` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT "主鍵", `method_name` varchar(64) NOT NULL COMMENT "鎖定的方法名", `desc` varchar(255) NOT NULL COMMENT "備注信息", `update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, PRIMARY KEY (`id`), UNIQUE KEY `uidx_method_name` (`method_name`) USING BTREE ) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8 COMMENT=‘鎖定中的方法";
想要執行某個方法,就使用這個方法名向表中插入數據:
INSERT INTO method_lock (method_name, desc) VALUES ("methodName", ‘測試的methodName");
因為我們對method_name做了唯一約束,這里如果有多個請求同時提交到數據庫的話,數據庫會保證只有一個操作可以成功,那么我們就可以認為操作成功的那個線程獲得了該方法的鎖,可以執行方法體內容。
成功插入則獲取鎖,執行完成后刪除對應的行數據釋放鎖:
delete from method_lock where method_name ="methodName";
使用基于數據庫的這種實現方式很簡單,但是對于分布式鎖應該具備的條件來說,它有一些問題需要解決及優化:
(1)因為是基于數據庫實現的,數據庫的可用性和性能將直接影響分布式鎖的可用性及性能,所以,數據庫需要雙機部署、數據同步、主備切換。 (2)不具備可重入的特性,因為同一個線程在釋放鎖之前,行數據一直存在,無法再次成功插入數據,所以,需要在表中新增一列,用于記錄當前獲取到鎖的機器和線程信息,在再次獲取鎖的時候,先查詢表中機器和線程信息是否和當前機器和線程信息相同,若相同則直接獲取鎖; (3)沒有鎖失效機制,因為有可能出現成功插入數據后,服務器宕機了,對應的數據沒有被刪除,當服務恢復后一直獲取不到鎖,所以,需要在鎖中新增一列,用于記錄失效時間,并且需要有定時任務清除這些失效的數據; (4)不具備阻塞鎖特性,獲取不到鎖直接返回失敗,所以需要優化獲取邏輯,循環多次去獲取。
在實施過程中會遇到各種不同問題,為了解決這些問題,實現方式將會越來越復雜;依賴數據庫需要一定的資源開銷,性能問題需要考慮。
基于redis的實現方式
選擇redis分布式鎖的原因:
(1)redis有很高的性能; (2)redis對此支持的命令較好,實現起來比較方便
使用分布式鎖的時候主要用到的命令介紹:
(1)SETNX SETNX key val:當且僅當key不存在時,set一個key為val的字符串,返回1;若key存在,則什么都不做,返回0。 (2)expire expire key timeout:當key設置一個超時時間,單位為second,超過這個時間鎖會自動釋放,避免死鎖。 (3)delete delete key:刪除key
實現思想:
(1)獲取鎖的時候,使用setnx加鎖,并使用expire命令給鎖加一個超時時間,超過該時間則自動釋放鎖,鎖的value值為一個隨機生成的UUID,通過此在釋放鎖的時候進行判斷。 (2)獲取鎖的時候還設置一個獲取的超時時間,若超過這個時間則放棄獲取鎖。 (3)釋放鎖的時候,通過UUID判斷是不是該鎖,若是該鎖,則執行delete進行鎖釋放。基于ZooKeeper的實現方式
ZooKeeper是一個為分布式應用提供一致性服務的開源組件,它內部是一個分層的文件系統目錄樹結構,規定同一個目錄下只能有一個唯一文件名。
基于ZooKeeper實現分布式鎖的步驟如下:
(1)創建一個目錄mylock; (2)線程A想獲取鎖就在mylock目錄下創建臨時順序節點; (3)獲取mylock目錄下所有的子節點,然后獲取比自己小的兄弟節點,如果不存在,則說明當前線程順序號最小,獲得鎖; (4)線程B獲取所有節點,判斷自己不是最小節點,設置監聽比自己小的節點; (5)線程A處理完,刪除自己的節點,線程B監聽到變更事件,判斷自己是不是最小節點,如果是則獲得鎖。
這里推薦一個Apache的開源庫Curator,它是一個ZooKeeper客戶端,Curator提供的InterProcessMutex是分布式鎖的實現,acquire方法用于獲取鎖,release用于釋放鎖。
優點:具備高可用、可重入、阻塞鎖特性,可解決失效死鎖問題。
缺點:因為需要頻繁的創建和刪除節點,性能上不如redis方式。
總結上面的三種方式,沒有在所有場合都是完美的,所以,應根據不同的應用場景選擇最適合的實現方式。
分布式環境中,對資源進行上鎖有時候是很重要的,比如搶購某一資源,這時候使用分布式鎖就可以很好的控制資源。
參考鏈接https://blog.csdn.net/xlgen15...
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/30862.html
摘要:分布式鎖實現方式前言目前幾乎很多大型網站及應用都是分布式部署的,分布式場景中的數據一致性問題一直是一個比較重要的話題。基于數據庫實現分布式鎖基于緩存等實現分布式鎖基于實現分布式鎖。 前言 分布式鎖,是控制分布式系統之間同步訪問共享資源的一種方式 在分布式系統中,常常需要協調他們的動作。如果不同的系統或是同一個系統的不同主機之間共享了一個或一組資源,那么訪問這些資源的時候,往往需要互斥...
摘要:結構型模式適配器模式橋接模式裝飾模式組合模式外觀模式享元模式代理模式。行為型模式模版方法模式命令模式迭代器模式觀察者模式中介者模式備忘錄模式解釋器模式模式狀態模式策略模式職責鏈模式責任鏈模式訪問者模式。 主要版本 更新時間 備注 v1.0 2015-08-01 首次發布 v1.1 2018-03-12 增加新技術知識、完善知識體系 v2.0 2019-02-19 結構...
摘要:導讀閱讀本文需要有足夠的時間,筆者會由淺到深帶你一步一步了解一個資深架構師所要掌握的各類知識點,你也可以按照文章中所列的知識體系對比自身,對自己進行查漏補缺,覺得本文對你有幫助的話,可以點贊關注一下。目錄一基礎篇二進階篇三高級篇四架構篇五擴 導讀:閱讀本文需要有足夠的時間,筆者會由淺到深帶你一步一步了解一個資深架構師所要掌握的各類知識點,你也可以按照文章中所列的知識體系對比自身,對自己...
摘要:為程序員金三銀四精心挑選的余道面試題與答案,歡迎大家向我推薦你在面試過程中遇到的問題我會把大家推薦的問題添加到下面的常用面試題清單中供大家參考。 為Java程序員金三銀四精心挑選的300余道Java面試題與答案,歡迎大家向我推薦你在面試過程中遇到的問題,我會把大家推薦的問題添加到下面的常用面試題清單中供大家參考。 前兩天寫的以下博客,大家比較認可,熱度不錯,希望可以幫到準備或者正在參加...
閱讀 2062·2023-04-25 21:11
閱讀 2963·2021-09-30 09:47
閱讀 2271·2021-09-24 09:48
閱讀 4427·2021-08-23 09:43
閱讀 895·2019-08-30 15:54
閱讀 559·2019-08-28 18:01
閱讀 1397·2019-08-27 10:55
閱讀 588·2019-08-27 10:55