阿里DTS遷移Oracle至Polardb-o過程實錄

IT那活兒發布于2023-01-11 13:20 / 1272人閱讀

一. 初始化系統腳本

環境準備：

需要?戶準備可以?個可以連接的Mysql5.6、5.7數據庫作為元數據庫（請把sql_mode設置?嚴格模式），在元數據庫內創建好數據庫，名稱是：dtsdb

初始化DTSP配置：

root用戶登陸
cd / && mkdir dts
上傳DTS安裝包
tar -zxvf dts_poc_v3.7.tar.gz
修改dts_init_shell.sh
mysql數據庫IP、用戶、密碼、端口
db_host=192.168.123.123
db_user=root
db_password=root
db_port=3306
dts服務IP
dts_console_ip=192.168.123.123

執行命令 source ./dts_init_shell.sh，一定要用source來執行，否則不會生效

執行checkt_dts.sh檢查對應的變量是否能獲取到

?. 開始安裝DTS各個組件

1. 安裝元數據庫

tar -zxvf dts_metadb_v3.7.tar.gz //解壓元數據庫包
cd metadb //進入medadb目錄
sh init_metadb.sh //初始化元數據庫
cat start-db.log //查看是否升級成功

2. 安裝dts portal 服務

tar -zxvf dts_portal_xxxx.tar.gz // 解壓portal包
cd portal // 進?portal ?錄
sh ./start_all.sh
ps axu |grep amp-schedule 等一會檢查進程是否正常

3. 安裝dts master 服務

tar -zxvf dts_master_v3.7.tar.gz //解壓master包
cd master // 進?master?錄
sh start_all.sh // 安裝腳本來啟動master服務
ps axu |grep amp-master.jar // 查看進程是否正常

4. 安裝dts proxy 服務

tar -zxvf dts_proxy_v3.7.tar.gz //解壓proxy包
cd proxy // 進?proxy?錄
sh start.sh // 啟動proxy服務
ps axu |grep proxy.jar // 查看進程是否正常

5. 安裝 dts_node服務

tar -zxvf dts_node_xxxx.tar.gz // 解壓node包
cd node // 進入node目錄
sh ./start_all.sh // 安裝node服務
ps axu |grep node.jar // 查看node進程是否正常

6. 安裝 dts numen 服務

tar -zxvf dts_numen_v3.7.tar.gz // 解壓numen包
cd numen // 進入numen目錄
sh start.sh // 安裝numen服務
ps axu |grep dts-op //查看進程是否正常

7. 安裝dts tengine 服務

tar -zxvf dts_tengine_v3.7.tar.gz //解壓tengine服務包
cd tengine //進入tengine目錄
sh init_tengine.sh // 按照tengine組件
tail -f init.log // 查看組件是否安裝正常
tengine 組件按照完成之后，按照服務
cd /dts/tengine //進入到安裝目錄
sh ./start.sh // 進入安裝tegine服務
ps axu | grep tengine // 查看是否正常

三. 安裝ADAM

上傳ADAM安裝包，解壓

tar -zxvf adam-saas-5.0.1.tar.gz
cd adam-saas-5.0.1/bin
sh installADAM.sh
ADAM安裝時使用admin用戶進行啟動
cd /home/admin
修改parameters.properties配置文件
# 數據庫地址,使用默認庫，不用修改
database.url=jdbc:mysql://192.168.123.123:3306
database.username=root
database.password=root
# 本地文件管理地址及位置，管理地址必改，填寫外網實際ip，如:192.168.123.123修改為192.168.0.1
adam.local.downloadUrl=http://192.168.123.123:8111/api/file/localDownload
adam.nfs.ip=192.168.123.123# 各服務端口，如端口不沖突可不用修改
adam-file-storage-web.server.port=8111
adam-eoa.server.port=8080
adam-eoa.management.port=7112
adam-stand-alone-one.server.port=10081
studio-saas-service.server.port=611
切換到admin用戶
執行pwd命令，確認當前用戶為admin，當前目錄為/home/admin
執行sh run.sh init命令，初始化數據庫。
執行sh run.sh start命令啟動ADAM
啟動時會使用admin用戶的sudo -i 權限，需要輸入admin密碼
執行sh run.sh status命令檢查ADAM服務是否啟動成功

四. 驗證ADAM、DTS

1. DTS訪問地址http://192.168.123.123:8088/

http://192.168.123.123/

2. ADAM訪問地址：http://192.168.123.123:8080/

五. 安裝polardb

1. 創建需求操作系統組和用戶

執行以下命令，創建polardb 用戶組。
groupadd polardb
執行以下命令，創建polardb 用戶。
useradd -g polardb polardb
執行以下命令，設置polardb用戶的密碼。passwd polardb
若要以polardb這個用戶執行下面的文件系統初始化步驟，需要給這個用戶賦予sudo權限，
使用visudo命令，在sudo文件中，加入下行：
polardb ALL=(ALL) ALL

2. 安裝PolarDB-O數據庫

root用戶登陸polardb主機
上傳rpm包到服務器
sudo rpm -i PolarDB-O-0200-2.0.0-20200709.alios7.x86_64.rpm

3. 創建需求操作系統組和用戶

執行以下命令，切換到polardb用戶。
su - polardb
執行以下命令，打開bash_profile文件。
vi ~/.bash_profile
向.bash_profile添加以下內容：export PGPORT=5432
export PGDATA=/data
export LANG=en_US.utf8
export PGHOME=/usr/local/polardb_o_current
export PFSHOME=/usr/local/polarstore/pfsd
#export PFSDISK=
#export PFSDIR=
export LD_LIBRARY_PATH=$PGHOME/lib:$LD_LIBRARY_PATH
export PATH=$PGHOME/bin:$PFSHOME/bin/:$PATH
export PGHOST=$PGDATA
export PGUSER=polardb
export PGDATABASE=polardb執行以下命令，使環境變量生效：
source ~/.bash_profile

4. 修改postgresql.conf配置文件

shared_buffers = 256GB
temp_buffers = 16GB
default_with_oids = on
default_with_rowids = on
listen_addresses = * 
port = 5432
max_connections = 2048
unix_socket_directories = .
timezone = UTC-8
log_timezone = UTC-8
log_destination = csvlog
logging_collector = on
log_directory = polardb_log
polar_enable_shared_storage_mode=off
polar_hostid=1
polar_datadir=$PGDATA
polar_disk_name=$PGDATA
#polar_storage_cluster_name=disk
啟動數據庫
pg_ctl start -D $PGDATA
連接數據庫后
創建crmhb數據庫
創建so5用戶
賦權給so5

六. 數據庫畫像、評估、結構遷移

1. 數據庫畫像采集

ADAM可以使用在線畫像采集，以下使用離線畫像采集

oracle數據庫服務中執行采集腳本，生成data.zip文件
-- 創建采集用戶 eoa_user, 并設置密碼為 eoaPASSW0RD
  create user eoa_user identified by eoaPASSW0RD default tablespace users;
------ 查詢權限
  grant connect,resource,select_catalog_role,select any dictionary to eoa_user;
------ DBMS_LOGMNR 權限 (版本為 10g 的數據庫需要先執行:
  CREATE OR REPLACE PUBLIC SYNONYM dbms_logmnr FOR sys.dbms_logmnr)
  grant execute on DBMS_LOGMNR to eoa_user;
------ DBMS_METADATA 權限，查詢數據對象 DDL 語句
  grant execute on dbms_metadata to eoa_user;
------ 查詢事務權限
  grant select any transaction to eoa_user;
------ 查詢表權限
  grant select any table to eoa_user;
------ 分析表權限
  grant analyze any to eoa_user;
------ 產生隨機編號權限
  grant execute on dbms_random to eoa_user;
執行采集腳本進行畫像采集
sh collect_12c.sh -h 192.168.123.123 -P 1521 -u eoa_user -p eoaPASSW0RD -d orcl -s orcl3

新建畫像

2. 數據庫評估

等畫像分析完成，下一步查看查看目標庫選型建議

新建數據庫評估項目

啟動數據庫改造進行結構遷移，遷移失敗的需要手工訂正

點擊訂正，可以查看改造點，下圖中刪除PARALLEL 8即可在訂正完成

結構遷移完成后進行對象的核對，無誤后開始數據遷移

七. 創建遷移任務進行數據遷移

登陸DTShttp://192.168.123.123/

創建遷移任務

配置遷移任務

配置原庫信息，測試通過后配置目標庫信息

授權白名單并進去下一步

取消勾選結構遷移，選擇需要遷移的對象，進行預檢查并啟動

首頁可查看遷移進度

可以查看詳細的任務信息

等待任務運行完成，稽核數據

END

更多精彩干貨分享

點擊下方名片關注

IT那活兒

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129829.html

云無邊界，阿里云混合云數據同步發布

摘要：摘要針對不同數據庫間數據實時同步難的問題，日前，阿里云宣布推出混合云數據同步一站式解決方案，便于廣大云產品用戶實現實時數據同步的混合云支持，更為方便的是，該功能讓本地也能實現與云上數據庫的實時同步。摘要：針對不同數據庫間數據實時同步難的問題，日前，阿里云宣布推出混合云數據同步一站式解決方案，便于廣大云產品用戶實現實時數據同步的混合云支持，更為方便的是，該功能讓本地Oracle也能實...

MASAILA 2019-06-25 18:36 評論0 收藏0
阿里云數據傳輸服務低價不低質，服務再升級

摘要：摘要為了釋放更多技術紅利，進一步普惠廣大客戶和開發者，阿里云于月下旬宣布，數據傳輸服務將全面降價，并于當月生效。據了解，此次降價空間來自于阿里云多年的技術積累和規模化技術升級。摘要：為了釋放更多技術紅利，進一步普惠廣大客戶和開發者，阿里云于12月下旬宣布，數據傳輸服務(Data Transmission Service) DTS將全面降價，并于當月生效。此次價格調整涉及多項服務和...

VioletJack 2019-06-25 18:30 評論0 收藏0
達摩院首席數據庫科學家李飛飛：云原生新戰場，我們如何把握先機？

摘要：李飛飛花名飛刀，阿里巴巴集團副總裁，高級研究員，達摩院首席數據庫科學家，阿里云智能事業群數據庫產品事業部負責人，杰出科學家。是阿里云的云原生數據庫，目前已有非常深厚的技術積累。阿里妹導讀：云計算大潮來襲，傳統數據庫市場正面臨重新洗牌的情境，包括云數據庫在內的一批新生力量崛起，動搖了傳統數據庫的壟斷地位，而由云廠商主導的云原生數據庫則將這種改變推向了高潮。云時代的數據庫將面臨怎樣的...

frolc 2019-06-25 19:19 評論0 收藏0