摘要：背景在一個數(shù)據(jù)庫中存在表與表，但兩個表按目前架構(gòu)邊界劃分的話，是屬于兩個組織下的兩個系統(tǒng)，導(dǎo)致相互之間有穩(wěn)定性風(fēng)險。為增強系統(tǒng)穩(wěn)定性，進行存儲分離。準(zhǔn)備將表的所有數(shù)據(jù)，遷移到新庫中。

背景:
? ? ?在一個數(shù)據(jù)庫中存在A表與B表，但AB兩個表按目前架構(gòu)邊界劃分的話，是屬于兩個組織下的兩個系統(tǒng)，導(dǎo)致相互之間有穩(wěn)定性風(fēng)險。為增強系統(tǒng)穩(wěn)定性，進行存儲分離。準(zhǔn)備將B表的所有數(shù)據(jù)，遷移到新庫中。

可能存在的問題：
1、由于原來的AB表在一個數(shù)據(jù)庫中，代碼中可以用事務(wù)控制兩個表，遷移后不支持本地事務(wù)，如何解決？
2、原來是一個數(shù)據(jù)源，現(xiàn)在分為兩個數(shù)據(jù)源，如何解決？
3、由于這兩個表，是核心鏈路的核心數(shù)據(jù)，遷移過程無法停機遷移，如何保證安全穩(wěn)定的不停機平滑遷移？
4、遷移過程如何保證數(shù)據(jù)一致？

遷移準(zhǔn)備工作：
1、表準(zhǔn)備
2、事務(wù)支持需要找相關(guān)人員確認，應(yīng)對事務(wù)解耦后的方案
3、數(shù)據(jù)源梳理

集群遷移方案：
一、整體方案
DBA線上創(chuàng)建新數(shù)據(jù)庫，同步原數(shù)據(jù)庫數(shù)據(jù);?
1、全量同步方案: 源庫導(dǎo)出數(shù)據(jù)進行全量初始化，dba通過多線程抽取源數(shù)據(jù)進行插入
2、增量同步方案: 記錄全量時刻的binlog位點，通過binlog進行數(shù)據(jù)增量同步? 增量數(shù)據(jù)進行數(shù)據(jù)一致性校驗，通過工具進行數(shù)據(jù)校驗；
3、系統(tǒng)中配置多個數(shù)據(jù)源，涉及到的表具有開關(guān)；可進行雙寫、指定寫新庫/老庫，指定讀主庫/新庫
4、代碼上線 ，上線后寫老庫，讀老庫；不做任何變更
5、增量數(shù)據(jù)此時已經(jīng)開啟；
6、選取流量低峰期打開雙寫開關(guān)，觀察寫新庫是否存在報錯，且對整體的tps是否有影響；大約5min左右
7、關(guān)閉增量數(shù)據(jù)同步，觀察30min，無異常報錯，且數(shù)據(jù)正常寫入，只保留雙寫。 此時數(shù)據(jù)校驗進行新增數(shù)據(jù)校驗；如果產(chǎn)生問題，進行開關(guān)回切，增量binlog繼續(xù)打開
8、觀察業(yè)務(wù)有無異常，跑一周時間，觀察數(shù)據(jù)是否有告警
9、切換讀新庫，跑一周時間
10、無異常，選取流量低峰期進行 大數(shù)據(jù)切換讀新庫備份機、binlog切換讀新庫備份機，此時會有一小段時間的重復(fù)數(shù)據(jù)產(chǎn)生，下游數(shù)據(jù)需要自己保證冪等性。
11、關(guān)閉老庫寫操作
12、跑一段時間，無問題，完全走新庫
二、具體流程圖

注意點:
原數(shù)據(jù)庫的binlog事件，需要提前接入；binlog監(jiān)聽維度的切換是在代碼上線之前即可監(jiān)聽，外圍需要保證冪等性；
大數(shù)據(jù)是否有抽取數(shù)據(jù)，需要確認；切換完成后，需要抽取新的庫數(shù)據(jù);? 大數(shù)據(jù)進行抽數(shù)需要進行l(wèi)ion變更；
確認update是否會進行覆蓋，可能存在覆蓋，但是兩者應(yīng)該最終一致
遷移過程可控，問題可發(fā)現(xiàn)；老庫寫入確保無問題
binlog數(shù)據(jù)消費可能早于新庫寫入，因此切換讀流量前需要進行binlog切換
樂觀鎖多版本更新，系統(tǒng)異常可感知，業(yè)務(wù)異常不可感知，樂觀鎖更新雙寫情況下保證最終一致性
查詢業(yè)務(wù)流量做比對

風(fēng)險點:?
由于連接修改在mapper層面，防止有mapper.method方法覆蓋不全導(dǎo)致的寫數(shù)據(jù)丟失
需要增加比對數(shù)據(jù)任務(wù)，進行數(shù)據(jù)比對
需要增加同步數(shù)據(jù)任務(wù)，防止切換過程數(shù)據(jù)丟失，進行數(shù)據(jù)彌補
數(shù)據(jù)比對、數(shù)據(jù)修復(fù)腳本、告警:

通過腳本（增量數(shù)據(jù)比對）
job手工比對（存量數(shù)據(jù)的比對）
修復(fù)數(shù)據(jù)job（指定表，指定更新時間范圍）—相當(dāng)于后門