• 環境說明

• 遷移需求

新建DatabaseC,將DatabaseA和DatabaseB的數據遷移到DatabaseC,其中DatabaseA/B僅部分表需保留數據,其余表保留結構即可

• 業務停機時間

業務允許停機時間最長為2小時

a.第一次遷移測試

本次遷移為了搭建測試環境供業務測試使用,對數據準確性無要求,受硬件條件以及時間需求限制,無法采用物理備份/復制等手段,采用mysqldump進行拆分導出導入

• 導出數據

mysqldump -uxxx  -pxxxx -S xxxx--set-gtid-purged=OFF   --single-transaction db `cat tab_list.txt` >table.sql

• 恢復數據

Set names utf8mb4;

Sourcetable.sql

盡管通過人為拆分為并行導出導入,但導入時會創建大量索引,索引創建過程無法并行,總體耗時約40h,無法滿足業務需求.

        b.第二次遷移測試

本次遷移測試采用傳輸表空間,過程大致如下

• 備份結構

mysqldump -uxx  -pxx -S xx  --set-gtid-purged=OFF -d dbname  > table_Structure.sql

mysqldump -uxx  -pxx -S xx   -n -t-d -R --triggers=false --set-gtid-purged=OFF  dbname >procedure.sql

• 恢復表結構

Set names utf8mb4;

Source table_Structure.sql

Sourceprocedure.sql

• 替換表空間

• 分離ibd文件

Alter table xxx discard tablespace;

• 傳輸idb文件

scp `cat table_list.txt` 10.25.225.243:/mysqldata/mysql/data/material

• 導入idb文件

• Alter table xxx import tablespace;

測試耗時約6h,讓仍然無法滿足業務要求,分析瓶頸在以下兩方面:

1. 傳輸文件通過千兆網絡,耗費大量時間

2. import tablespace過程中, mysql需要更新ibd文件每個page的lsn,產生大量IO操作,耗時較多;

c.第三次測試

• 物理備份

對A/B數據庫進行物理備份

innobackupex --user=xx -pxx --socket=xx  --no-timestamp  ./full

innobackupex --user=xx -pxx --socket=xx  --no-timestamp --incremental ./inc/inc1/--incremental-basedir=./full

innobackupex --user=xx -pxx --socket=xx  --no-timestamp --incremental ./inc/inc2/--incremental-basedir=./inc/inc1

• 恢復備份

使用備份恢復databaseB

innobackupex--defaults-file=/etc/my.cnf --parallel=16 --apply-log --redo-onlyfull/  &

innobackupex--defaults-file=/etc/my.cnf --parallel=16 --apply-log --redo-only--incremental-dir=rec0/ full/ &

innobackupex--defaults-file=/etc/my.cnf --parallel=16 --apply-log --redo-only--incremental-dir=rec1/ full/

• 升級database c

mysql_upgrade --upgrade-system-tables  -uroot -pxxx

• 恢復database A到database C

恢復過程同第二次遷移測試,此處使用物理備份的ibd文件進行導入.

• 清理多余的數據

Truncatetable xxx;

• 配置復制

通過物理備份獲取gtid相關信息,并配置兩個復制通道,分別為databaseA和databaseB復制數據

reset master;

SET@@GLOBAL.GTID_PURGED=xxxxxx,xxxxxxx;

change master to

master_host=xxx,

MASTER_PORT=xx,

master_user=repl,

master_password=xx,

master_auto_position=1

FOR CHANNEL chnl1;

通過以上方式,業務停機時間僅為應用修改切換連接串時間,僅需幾分鐘即可,滿足業務需求。