datax在web端的使用步驟

IT那活兒發(fā)布于2023-01-11 13:20 / 1980人閱讀

datax在web端的使用步驟

DataX 是阿里開源的一個異構(gòu)數(shù)據(jù)源離線同步工具，致力于實現(xiàn)包括關(guān)系型數(shù)據(jù)庫(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各種異構(gòu)數(shù)據(jù)源之間穩(wěn)定高效的數(shù)據(jù)同步功能。

這個工具本身作為數(shù)據(jù)同步框架，將不同數(shù)據(jù)源的同步抽象為從源頭數(shù)據(jù)源讀取數(shù)據(jù)的Reader插件，以及向目標(biāo)端寫入數(shù)據(jù)的Writer插件，理論上DataX框架可以支持任意數(shù)據(jù)源類型的數(shù)據(jù)同步工作。這次給大家介紹的是DataX在web端的使用步驟：

1. 首先打開Datax的網(wǎng)址，選擇項目管理，點擊添加

2. 創(chuàng)建項目名稱和添加項目描述之后，點擊確認

3. 點擊任務(wù)管理，選擇Datax任務(wù)模板，點擊添加

4. 在彈出的對話框中設(shè)定任務(wù)，執(zhí)行器、路由策略和阻塞處理都使用默認選項，不用做變更。所屬項目在下拉框中選擇剛剛創(chuàng)建的項目名稱，任務(wù)描述可自行補充，Cron選項可以根據(jù)需要設(shè)定定時周期運行的任務(wù)，設(shè)定完之后點擊確認。

5. 任務(wù)模板添加完成之后選擇數(shù)據(jù)源管理，點擊添加。由于這次的單表導(dǎo)入是從oracle端導(dǎo)入到PG端，所以源端數(shù)據(jù)源選擇oracle，數(shù)據(jù)庫名稱可自行填寫，不用按照oracle端本來的數(shù)據(jù)庫名稱填寫，再補充對應(yīng)的用戶名密碼，以及ip、端口和server name，注意符號別寫錯，測試連接成功之后就可以點擊確認了。

6. 繼續(xù)添加目標(biāo)端數(shù)據(jù)源，方法跟第五步類似，只是在數(shù)據(jù)源的選擇上需要選擇postgresql

7. 在任務(wù)管理中選擇任務(wù)構(gòu)建，在數(shù)據(jù)庫源這一項，選擇剛剛添加的源端數(shù)據(jù)源上填寫的數(shù)據(jù)庫名稱，接下來填入需要導(dǎo)入的表的所屬schema名稱和表名，如果只想導(dǎo)表的某幾個字段的數(shù)據(jù)，可以再SQL語句這一欄中填寫對應(yīng)的查詢語句，這里我們導(dǎo)入全表，并選擇表所有字段，點擊下一步。