ETL工具Kettle自定義時間變量入庫

IT那活兒發布于2023-01-11 13:19 / 1120人閱讀

點擊上方“IT那活兒”公眾號，關注后了解更多內容，不管IT什么活兒，干就完了！！！

kettle自定義時間變量入庫

Kettle自定義時間變量入庫，是指將EXCEL文件或者文本文件中的數據插入到數據庫的同時自定義一個時間變量也插入到數據庫中。

由于存在插入數據庫的EXCEL數據或者文本文件中的數據沒有時間字段，或者時間日期不固定，如果跑批調度作業報錯時，則不便于刪除已入庫的數據，所以自定義一個時間變量也入庫，可以更直觀的看出該部分數據的入庫時間，也便于進行查詢、刪除等操作。

圖1：Kettle發送郵件流程圖

kettle發送郵件步驟詳解

1. Start

開始執行作業。

2. 測試-EXCEL數據入庫-轉換

將EXCEL中的數據轉換入庫。

圖2：昨日日期變量

2.1 Excel輸入

輸入流選擇Excel輸入。

表格類型（引擎）：根據Excel類型，選擇XLS或者XLSX。
選中的文件：Excel文件所在的路徑。

在工作表標簽頁中，選擇需要輸入的Excel數據所在的Sheet頁的名稱。

頭部：如果該Excel數據存在表頭，則選中，表示表頭數據不入庫。
編碼：選擇UTF-8。

2.2 字段標簽中

點擊下方的“獲取來自頭部數據的字段”，則會自動獲取到表頭。

獲取系統信息：可以獲取當前系統時間、昨日時間、明天時間、本月/上月/下個月月初/末等時間。

可以點擊類型，選擇不同時間，如下圖所示（這里選擇的為昨日時間）：

2.3 字段選擇

點擊“獲取改變的字段”，可以獲取到前面步驟中的字段，包括Excel輸入中的表頭字段和設置的系統時間字段，并可以對時間字段設置格式。

例如：

yyyyMMdd、MM-dd-yyyy HH:mm:ss。

2.4 表輸出

用于將Excel數據、文本文件數據、數據庫中的數據輸出到其他數據庫的目標表中。

數據庫連接：獲取提前配置好的數據庫，并選擇所使用的數據表來源庫。
目標表：選擇需要將數據插入的目標表。
指定數據庫字段：選中。

選擇“數據庫字段”標簽頁，點擊“輸入字段映射”選擇輸入流和表字段的一一對應關系，如上圖所示。

3. 成功

查看執行結果日志，每一步均為result=[true]，則作業執行成功，任務結束，否則執行失敗。

4. 查看入庫數據

logdate=’2022-04-19’ 為昨日日期。

END

本文作者：楊華倩（上海新炬王翦團隊）

本文來源：“IT那活兒”公眾號

GPU云服務器云服務器 kettle hive etl 自定義鏡像工具自定義表單工具自定義鏡像創建時間

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129445.html

kettle 開源etl數據抽取工具

摘要：相比其他開源的工具和其他商業的工具，對比下來還是比較強大和好用。 1.為什么要使用數據抽取（1）為了不妨礙業務數據的讀取和寫入，需要進行數據的抽取，抽取到另外數據庫表進行讀取（2）對某些總計數據可以進行預先計算，抽取到另外數據庫表（3）隨訪業務數據庫為mongodb , 統計程序編程效率低，需要轉成sql 類數據庫提高效率 2.工具使用 kettle 開源etl工具網址：http...

nevermind 2019-06-26 17:01 評論0 收藏0
kettle下轉移mongo中數據到mysql中

摘要：是一款國外開源的工具，純編寫，可以在上運行，數據抽取高效穩定。 Kettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運行，數據抽取高效穩定。作為一個數據抽取工具，在建立數據倉庫的過程中，免不了需要從不同的數據源中抽取到集中的數據倉庫中，下面就拿mongodb抽取到mysql為例，簡述抽取數據的步驟：新建轉換:test 在test中新建M...

Riddler 2019-08-14 17:52 評論0 收藏0
kettle下轉移mongo中數據到mysql中

摘要：是一款國外開源的工具，純編寫，可以在上運行，數據抽取高效穩定。 Kettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運行，數據抽取高效穩定。作為一個數據抽取工具，在建立數據倉庫的過程中，免不了需要從不同的數據源中抽取到集中的數據倉庫中，下面就拿mongodb抽取到mysql為例，簡述抽取數據的步驟：新建轉換:test 在test中新建M...

beanlam 2019-06-26 17:13 評論0 收藏0