OceanBase遷移服務(OceanBaseMigration Service,OMS)是螞蟻OceanBase提供的一種支持同構或異構RDBMS與OceanBase之間進行數據交互的服務,它提供了數據在線遷移和實時增量同步的數據復制能力。
之前給大家分享了OMS遷移過程中踩過的一些坑,有各種的報錯、bug導致的問題。雖然這些阿里通過版本迭代予以了解決,但運維的魅力之一就是摁下了葫蘆浮起了瓢,解決的就是瓢的問題。
在OMS正向遷移(Oracle->OB)過程中報錯主要分兩部分,一部分是鏈路問題,OMS也需要在源端以及目標端創建進程來抽取數據分析日志并寫入目標端。這部分的問題我們運維人員更多是想辦法排查并規避,更多的問題需要阿里工程師對OMS工具優化。今天我們主要分享表結構遷移和數據遷移過程中報錯常見問題及解決方法。
下面兩種報錯解決方式均通過具體的報錯解決案例來介紹
(一)表結構遷移報錯
這種處理方式主要處理表結構遷移過程中的報錯,以及數據遷移過程中因為表結構問題,數據還未插入表中時產生的報錯
案例:隱藏列異常(OMS遷移ORACLE到OB過程中會在OB端表上創建隱藏列以及一個約束)
報錯現象:
圖1:OMS全量遷移過程中隱藏列報錯
解決步驟:
登錄OB客戶端->確認建表語句
showcreate table table_nameG
圖2:報錯表建表語句
可以看到建表語句中并沒有創建上隱藏列,這時候就需要我們手工去修復,可以去查一下正確的建表語句
查看建表語句方法一:
圖3:通過遷移任務結構遷移部分查看
圖4:在結構遷移的表結構同步的子任務里可以看到具體表的信息
圖5:查看報錯表上下文找到DDL建表語句
查看建表語句方法二:
登錄OMS的租戶
圖6:登錄語句
切換OMS_META用戶,useoms_meta
圖7:查詢OMS_DDL表找到報錯表的建表語句
查詢到正確的建表語句之后,在OB目標庫刪除有問題的表,然后執行建表語句,創建隱藏列和索引
圖8:在OB端執行正確建表語句
圖9:創建完表showcreate table檢查建表語句,復檢遷移作業
(二)數據遷移過程中報錯
這種方式主要處理表中已導入部分數據,在全量遷移途中報錯
案例:源端表空間move觸發bug導致正在遷移的分區找不到(ADGBug)
報錯現象:
圖10:遷移任務報錯頁面
圖11:oms后臺報錯日志,顯示找不到對象
解決步驟:
針對這個bug,OB研發更新了OMS校驗規則,更多的需要我們規避遷移過程中DDL操作,在解決了問題之后,需要登錄oms主機登錄管理docker,檢查配置文件
dockerexec -it oms bash
Cd/home/ds/run/134.80.184.66-9000:90243:0000000057/migrate/1
檢查overview-done文件如果有報錯表,手工刪除下,overview-runing中找到報錯表,隨便修改一個不存在的名字避開校驗
OB端清空報錯表
obclient> truncate table SMSERXXXX;
QueryOK, 0 rows affected (1.13 sec)
obclient>truncate table I168USEXXXX;
QueryOK, 0 rows affected (0.99 sec)
處理完之后
發起復檢
圖12:復檢之后作業正常繼續
在OB推行數據庫商業化的過程中會存在各種各樣的問題,需要我們大家協同發現問題,分析問題,解決問題。只有這樣才能打造一款堅實的國產化產品。國產化必將是未來幾年國內各行各業經濟和技術革新的一個趨勢。因此,基于近一段時間的問題的處理以及總結,針對OMS遷移過程中的一些問題我們也能做出相應的分類以及匯總,并總結出一定的處理方案。在這過程中,也使得我們使用人員對于遷移過程中涉及的原理有了更深的理解,這篇文章的分享就是我們近期在OMS遷移過程中探索的總結,雖不能覆蓋所有問題,但類似問題的處理大同小異,都有共通之處,望給大家拋磚引玉。
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/130083.html
摘要:年月日,遷移服務解決方案在城市峰會中正式發布。遷移服務向分布式架構升級的直接路徑基于上述問題和挑戰,同時經過螞蟻十年數據庫架構升級的先進經驗,螞蟻金服為客戶打造了這款一站式數據遷移解決方案遷移服務,簡稱。 2019年1月4日,OceanBase遷移服務解決方案在ATEC城市峰會中正式發布。螞蟻金服資深技術專家師文匯和技術專家韓谷悅共同分享了OceanBase遷移服務的重要特性和業務實踐...
摘要:年月日,遷移服務解決方案在城市峰會中正式發布。遷移服務向分布式架構升級的直接路徑基于上述問題和挑戰,同時經過螞蟻十年數據庫架構升級的先進經驗,螞蟻金服為客戶打造了這款一站式數據遷移解決方案遷移服務,簡稱。 2019年1月4日,OceanBase遷移服務解決方案在ATEC城市峰會中正式發布。螞蟻金服資深技術專家師文匯和技術專家韓谷悅共同分享了OceanBase遷移服務的重要特性和業務實踐...
摘要:作為阿里云大數據旗艦產品,的級別性能處理達到了全球領先性,被評為全球云端數據倉庫領導者。天弘基金天弘基金旗下的余額寶,是中國規模最大的貨幣基金。場景二阿里云產品消費賬單分析準備工作完成案例中準備工作步驟。 摘要: 一、 MaxCompute是什么 你的OSS數據是否作堆積在一旁沉睡已久存儲成本變為企業負擔你是否想喚醒沉睡的數據驅動你的業務前行MaxCompute可以幫助你高效且低成本的...
摘要:使用預編譯處理的優勢使用預處理器,可以提供缺失的樣式層復用機制減少冗余代碼,提高樣式代碼的可維護性。所以我們在實際項目中衡量預編譯方案時,還是得想想,比起帶來的額外維護開銷,預處理器有沒有解決更大的麻煩。 一、什么是css預編譯處理? CSS 預編譯處理,從字面上理解,就是預先編譯處理CSS。它擴展了 CSS 語言,增加了變量、Mixin、函數等編程的特性,使 CSS 更易維護和擴展。...
閱讀 1346·2023-01-11 13:20
閱讀 1684·2023-01-11 13:20
閱讀 1132·2023-01-11 13:20
閱讀 1858·2023-01-11 13:20
閱讀 4100·2023-01-11 13:20
閱讀 2704·2023-01-11 13:20
閱讀 1385·2023-01-11 13:20
閱讀 3597·2023-01-11 13:20