OceanBase遷移服務(OceanBaseMigration Service,OMS)是螞蟻OceanBase提供的一種支持同構或異構RDBMS與OceanBase之間進行數據交互的服務,它提供了數據在線遷移和實時增量同步的數據復制能力。
小伙伴們應該還記得上次分享了OMS遷移過程中增量同步因為白名單被截斷而導致的問題吧,通過更新OMS補丁后已經解決。但一套完整的割接上線方案不僅能夠滿足正向同步機制,反向同步也是割接回退方案中不可缺少的步驟。因此,這幾天集中火力對反向同步測試進行了炮火攻擊,在即將大戰告捷之時突然發現反向增量同步因白名單配置表太多出現Bug導致同步失敗。
通過對日志分析及與阿里工程師交涉得知反向白名單配置超過3200張表時會報錯,解決該問題需要更新OMS補丁。解決方案:配置黑名單減少同步對象數量,這種方式不符合實現需求。另一種方式就是創建多條鏈路進行反向同步,鏈路增加會增加后續維護難度,但是在出現同步異常時只需要修復故障鏈路即可,下面就帶領大家一起體會下整個反向同步過程。
場景環境信息:430張配置表數據從oracle端實時同步到ob端,其他約3600張業務數據表需要從ob端實時同步到oracle端。根據報錯場景將業務用戶下的表都進行反向同步。
場景配置
需要配置反向鏈路,反向鏈路配置方式是通過正向鏈路方式先將表結構遷移,在ob端去掉oms創建的隱藏約束,跳過一部分遷移任務,然后切換為反向鏈路,在這里我先不詳細講解了,后續我會在多帶帶章節為大家介紹配置過程。
配置多帶帶遷移任務遷移表結構,如果已經存在表遷移表結構過程中會報錯并跳過
圖1:配置遷移表結構的遷移任務的數據源
圖2:配置需要遷移表結構的表
圖3:運行遷移任務的檢查和結構遷移
圖4:查看結構遷移的表結構遷移子任務
圖5:在OB端檢查失敗任務表是以前存在的表
2.結構遷移完檢查鏈路沒有發起可以直接刪除這個臨時任務
圖6:檢查監控沒有發起鏈路
圖7:檢查沒有鏈路之后可以直接刪除這個遷移任務
3.ob端刪除需要反向同步的表的隱藏約束
圖8:需要刪除的是oms遷移過程中創建的UK隱藏約束
圖9:刪除隱藏約束語句
4.創建正向遷移任務,在配置白名單的時候因為表數量太多不好勾選,可以隨便選擇兩張表創建上任務,后續修改參數
圖10:創建遷移任務,配置數據源
圖11:白名單隨便選擇兩個表,后續修改參數
5.需要在遷移任務開始之前修改三個參數,配置白名單
圖12:執行遷移任務之前修改參數
圖13:需要修改3個參數之二,dest_drc_wlist、forward_white_list
圖14:需要修改3個參數之一,source_drc_wlist
問題復現
問題重現點:按照反向鏈路配置方法執行遷移任務(需要手工跳過很多正向遷移中的任務),會在DRC進程處報錯
圖15:報錯現象
問題定位分析
日志查看:
圖16:前臺日志顯示
圖17:前臺日志并不能分析出原因,查看后臺日志
可以看出因為白名單太長導致。
先清理報錯任務,檢查鏈路情況,執行清理任務,復檢鏈路清理成功
圖18:查看監控鏈路情況
圖19:執行清理任務
圖20:再檢查下鏈路被清理了
清理干凈后重置遷移任務,然后再創建一個遷移任務,將白名單分成兩部分創建兩條鏈路,修改參數
圖21:如果不新建任務可以重置當前的遷移任務
圖22:查看遷移任務狀態已經清空
圖23:重新修改參數,將表數量分成兩批,每批不超過3200張,以下展示的是配置的第一批,第二批與第一批操作一致就不多帶帶展示
圖24:重新執行任務正常執行
按照反向鏈路配置方法配置,執行切換作業之后,反向同步鏈路就創建完成了
圖25:發起切換任務
驗證同步
查看OB端(目標端)與Oracle端(源端)的OGG_TEST表數據量(不一定一致,可以ob沒數據,oracle有數據,ob新增數據實時同步回oracle,我這里ogg_test數據前期同步過)
圖26:ob側檢查測試表數據量
圖27:oracle側檢查測試表數據量
圖28:在OB端(目標端)的OGG_TEST表中插入數據,并提交
圖29:查看oracle端
反向實時同步已經發起
在OB推行數據庫商業化的過程中會存在各種各樣的問題,需要我們大家協同發現問題,分析問題,解決問題。只有這樣才能打造一款堅實的國產化產品。國產化必將是未來幾年國內各行各業經濟和技術革新的一個趨勢。因此,基于近一段時間的問題及時反饋、及時分析、及時修復,OMS已經更加趨于完善和健壯了。這樣,也使得我們使用人員對于OB產品更加有信心,生態圈的完善本身也是在不斷碰撞、不停的修繕中完善的。希望今天我們踩過的坑都將成為OB產品演進過程中的寶貴知識財富,后續的同仁在推行OB國產化道路上也可以盡可能的少走一些彎路。這次的分享到此結束,希望這次分享能幫助到大家。
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/130096.html
摘要:年月日,遷移服務解決方案在城市峰會中正式發布。遷移服務向分布式架構升級的直接路徑基于上述問題和挑戰,同時經過螞蟻十年數據庫架構升級的先進經驗,螞蟻金服為客戶打造了這款一站式數據遷移解決方案遷移服務,簡稱。 2019年1月4日,OceanBase遷移服務解決方案在ATEC城市峰會中正式發布。螞蟻金服資深技術專家師文匯和技術專家韓谷悅共同分享了OceanBase遷移服務的重要特性和業務實踐...
摘要:年月日,遷移服務解決方案在城市峰會中正式發布。遷移服務向分布式架構升級的直接路徑基于上述問題和挑戰,同時經過螞蟻十年數據庫架構升級的先進經驗,螞蟻金服為客戶打造了這款一站式數據遷移解決方案遷移服務,簡稱。 2019年1月4日,OceanBase遷移服務解決方案在ATEC城市峰會中正式發布。螞蟻金服資深技術專家師文匯和技術專家韓谷悅共同分享了OceanBase遷移服務的重要特性和業務實踐...
摘要:作為阿里云大數據旗艦產品,的級別性能處理達到了全球領先性,被評為全球云端數據倉庫領導者。天弘基金天弘基金旗下的余額寶,是中國規模最大的貨幣基金。場景二阿里云產品消費賬單分析準備工作完成案例中準備工作步驟。 摘要: 一、 MaxCompute是什么 你的OSS數據是否作堆積在一旁沉睡已久存儲成本變為企業負擔你是否想喚醒沉睡的數據驅動你的業務前行MaxCompute可以幫助你高效且低成本的...
摘要:數據遷移,主要利用阿里云數據傳輸服務的數據遷移能力,涉及到全量遷移增量遷移一致性校驗及反向任務。小結通過周密的遷移方案設計,以及強大的數據遷移工具的能力,閑魚商品庫順利完成億在線數據庫服務遷移,獨立的物理部署顯著提升商品庫在線服務的穩定性。 背景 在系統的快速迭代過程中,業務系統往往部署在同一個物理庫,沒有做核心數據和非核心數據的物理隔離。隨著數據量的擴大這種情況會帶來穩定性的風險,如...
隨著數據量的增長、數據來源途徑的多元化,企業用戶需要考慮到私有云與公有云數據存儲的統一性管理,從而隨時隨地能夠從數據存儲平臺上獲得用戶所需要的數據,為業務創新帶來敏捷的數據價值。當前行業用戶對混合云的需求越發明顯,云廠商也是不斷推動混合云解決方案在百行百業中的深入發展,從而,讓混合云與以軟件定義為主導的存儲顯得越來越密不可分。因而,就帶來了一個重要的混合云治理話題:混合云架構下,如何讓數據存儲無邊...
閱讀 1346·2023-01-11 13:20
閱讀 1684·2023-01-11 13:20
閱讀 1132·2023-01-11 13:20
閱讀 1858·2023-01-11 13:20
閱讀 4100·2023-01-11 13:20
閱讀 2704·2023-01-11 13:20
閱讀 1385·2023-01-11 13:20
閱讀 3597·2023-01-11 13:20