摘要:問題是,重復請求導致的數據重復插入。這問題造成的后果很明顯數據冗余,可能不單單多一條有些業務需求不能有多余數據,造成服務問題問題如圖所示解決方式如何將同請求,不執行插入,而是讀取前一個請求插入的數據并返回。那么使用分布式鎖的解決方案。
摘要: 原創出處 https://www.bysocket.com 「公眾號:泥瓦匠BYSocket 」歡迎關注和轉載,保留摘要,謝謝!
目錄
為啥要解決數據重復插入?
解決方案實戰
可落地小總結
一、為啥要解決數據重復插入?問題起源,微信小程序抽風 wx.request() 重復請求服務器提交數據。后端服務也很簡單,偽代碼如下:
class SignLogService { public void saveSignLog(SignLogDO log) { // 簡單插入做記錄 SignLogDAO.insert(log); } }
發現數據庫會存在重復數據行,提交時間一模一樣。但業務需求是不能有多余的 log 出現,這明顯是個問題。
問題是,重復請求導致的數據重復插入。這問題造成的后果很明顯:
數據冗余,可能不單單多一條
有些業務需求不能有多余數據,造成服務問題
問題如圖所示:
解決方式:如何將 同請求 A,不執行插入,而是讀取前一個請求插入的數據并返回。解決后流程應該如下:
唯一索引 + 唯一字段
冪等
上面說的那種業務場景:sign_log 表會有 user_id、sign_id、sign_time 等。那么每次簽到,每個人每天只有一條簽到記錄。
數據庫層采取唯一索引的形式,保證數據記錄唯一性。即 UNIQUE 約束,UNIQUE 約束唯一標識數據庫表中的每條記錄。另外,user_id,sign_id,sign_time 三個組合適唯一字段。創表的偽代碼如下:
CREATE TABLE sign_log ( id int NOT NULL, user_id int NOT NULL, sign_id int, sign_time int, CONSTRAINT unique_sign_log UNIQUE (user_id,sign_id,sign_time) )
重點是 CONSTRAINT unique_sign_log UNIQUE (user_id,sign_id,sign_time)。有個小問題,數據量大的時候,每條記錄都會有對應的唯一索引,比較耗資源。那么這樣就行了嗎?
答案是不行,服務不夠健壯。第一個請求插入成功,第二個請求直接報錯,Java 服務會拋出 DuplicateKeyException 。
簡單的冪等寫法操作即可,偽代碼如下:
class SignLogService { public SingLogDO saveSignLog(SignLogDO log) { // 冪等處理 SignLogDO insertLog = null; try { insertLog = signLogDAO.insert(log); } catch (DuplicateKeyException e) { insertLog = selectByUniqueKeys(userId,signId,signTime); } return insertLog; } }
的確,流量不是很大,也不算很高并發。重復寫問題,這樣處理即可。那大流量、高并發場景咋搞
2.分庫分表解決方案流量大了后,單庫單表會演變成分庫分表。那么基于單表的唯一索引形式,在碰到分表就無法保證呢,插入的地方可能是兩個分表 A1 和 A2。
解決思路:將數據的唯一性條件放到其他存儲,并進行鎖控制
還是上面的例子,每天,每次簽到,每個人只有一條簽到記錄。那么使用分布式鎖 Redis 的解決方案。大致偽代碼如下:
a.加鎖// 加鎖 jedis.set(lockKey, requestId, "NX", "PX", expireTime);
lockKey 最簡單的是 user_id + sign_id + sign_time
expireTime 設置為一天
b.解鎖// 解鎖 jedis.eval(script, lockKey,requestId);c.冪等代碼加強
class SignLogService { public SingLogDO saveSignLog(SignLogDO log) { // 冪等校驗 SignLogDO existLog = selectByUniqueKeys(userId,signId,signTime); if(Objects.nonNull(existLog)) { return existLog; } // 加鎖 jedis.set SignLogDO insertLog = signLogDAO.insert(log); // 解鎖 jedis.eval return insertLog; } }
這個方案還是不是很成熟,大家參考下即可。
三、可落地小總結解決方案實戰中,了解具體術。歸納如下:
冪等:保證多次同意請求后結果一致
并發控制:單表唯一索引、分布式多表分布式鎖
降級兜底方案:分布式鎖鎖失效 - 考慮樂觀鎖兜底
參考資料重復插入方案: http://www.bysocket.com/archi...
《阿里巴巴 Java 開發手冊》
以下專題教程也許您會有興趣《Spring Boot 2.x 系列教程》
《Java 核心系列教程》
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/77619.html
摘要:小明馬上開發完畢,成功上線。下班過后,小明回想大紅說的話,什么是間隙鎖,什么是插入意向鎖,看來作為開發者對數據庫不應該只會寫啊,不然遇到一些疑難雜癥完全沒法解決啊。破壞了數據庫中的隔離性。 1.鎖? 1.1何為鎖 鎖在現實中的意義為:封閉的器物,以鑰匙或暗碼開啟。在計算機中的鎖一般用來管理對共享資源的并發訪問,比如我們java同學熟悉的Lock,synchronized等都是我們常見的...
閱讀 3250·2023-04-25 22:47
閱讀 3765·2021-10-11 10:59
閱讀 2300·2021-09-07 10:12
閱讀 4243·2021-08-11 11:15
閱讀 3432·2019-08-30 13:15
閱讀 1750·2019-08-30 13:00
閱讀 968·2019-08-29 14:02
閱讀 1680·2019-08-26 13:57