ETL工具Kettle發(fā)送郵件

IT那活兒發(fā)布于2023-01-11 13:20 / 3698人閱讀

ETL工具Kettle發(fā)送郵件

點擊上方“IT那活兒”，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！！！

kettle介紹

ETL 是Extract-Transform-Load三個單詞的簡稱，即抽取、轉(zhuǎn)換、加載。使用ETL工具可以完成從目標(biāo)數(shù)據(jù)源進行數(shù)據(jù)抽取，經(jīng)過一系列的數(shù)據(jù)轉(zhuǎn)換，最終形成需要的數(shù)據(jù)模型并加載到數(shù)據(jù)庫中。

Kettle是開源ETL工具，提供一系列的組件用于完成各種抽取、轉(zhuǎn)換、加載的工作。Kettle中兩個核心是轉(zhuǎn)換(transformation)與作業(yè)(job)。轉(zhuǎn)換即完成數(shù)據(jù)ETL工作，作業(yè)即定義一個完成整個工作流的控制。

kettle發(fā)送郵件

Kettle發(fā)送郵件，是指將數(shù)據(jù)庫里面的數(shù)據(jù)通過kettle組件進行抽取出來，按照所需要的格式以及排版轉(zhuǎn)換成文件形式，例如EXCEL文件、文本文件、配置文件等，最終通過發(fā)送郵件附件的形式，發(fā)送給一個或多個收件人。

圖1: Kettle發(fā)送郵件流程圖

kettle發(fā)送郵件步驟詳解

1. Start：開始執(zhí)行作業(yè)。

2. 設(shè)置昨日日期變量-轉(zhuǎn)換：獲取時間日期，按照需要的格式進行加工并設(shè)置為變量，供其他組件使用。

圖2: 昨日日期變量

1）獲取系統(tǒng)信息：可以獲取當(dāng)前系統(tǒng)時間、昨日時間、明天時間、本月/上月/下個月月初/末等時間。

2）字段選擇：可以對獲取到的系統(tǒng)時間按照業(yè)務(wù)需求設(shè)置格式，例如：yyyyMMdd、MM-dd-yyyy HH:mm:ss。

3）設(shè)置變量：將獲取到的系統(tǒng)時間設(shè)置為變量，供后面的組件使用，例如：獲取昨天時間，設(shè)置的變量名為：ZTDATE，使用該變量時的格式為：${ ZTDATE }。

3. 計算表中的記錄數(shù)：該步驟主要是判斷需要發(fā)送的郵件數(shù)據(jù)是否有數(shù)據(jù)。

圖3: 計算表中的記錄數(shù)

1）數(shù)據(jù)庫連接：獲取提前配置好的數(shù)據(jù)庫，并選擇所使用的數(shù)據(jù)表來源庫。

2）編輯：編輯選中的數(shù)據(jù)庫連接信息。

3）新建：創(chuàng)建數(shù)據(jù)庫連接。

4）成功條件：滿足成功條件的行數(shù)：大于數(shù)值：0 用來判斷SQL腳本中執(zhí)行的SQL語句的行數(shù)。行數(shù)大于0繼續(xù)執(zhí)行下一步“數(shù)據(jù)轉(zhuǎn)換”；否則執(zhí)行“昨日無數(shù)據(jù)”，作業(yè)結(jié)束。

5）獲取SQL查詢語句：通過選擇數(shù)據(jù)庫中的數(shù)據(jù)表生成默認(rèn)的SQL語句。

6）輸入框：根據(jù)業(yè)務(wù)需求自定義SQL語句。

4. 數(shù)據(jù)轉(zhuǎn)換：從目標(biāo)數(shù)據(jù)源進行數(shù)據(jù)抽取，經(jīng)過一系列的數(shù)據(jù)轉(zhuǎn)換，最終形成需要的數(shù)據(jù)模型。例如：將數(shù)據(jù)庫中的數(shù)據(jù)轉(zhuǎn)換成文件形式、將文件形式的數(shù)據(jù)轉(zhuǎn)換加載到數(shù)據(jù)庫、將數(shù)據(jù)庫中的數(shù)據(jù)轉(zhuǎn)換設(shè)置為變量來使用等。

圖4:數(shù)據(jù)轉(zhuǎn)換

1）表輸入：用來查詢數(shù)據(jù)庫數(shù)據(jù)的組件。選擇數(shù)據(jù)表來源數(shù)據(jù)庫，可以獲取SQL查詢語句或根據(jù)業(yè)務(wù)需求自定義SQL語句。其中，編輯完SQL語句->點擊“預(yù)覽”->選擇“預(yù)覽”行數(shù)->即可預(yù)覽查詢出來的數(shù)據(jù)。

圖5:表輸入

2）Microsoft Excel 輸出：將輸入流中的數(shù)據(jù)轉(zhuǎn)換為Excel文件輸出到指定路徑中。該步驟有“文件&工作表”、“內(nèi)容”兩個標(biāo)簽頁。標(biāo)簽頁配置信息如圖6、圖7所示。

圖6: 文件&工作表

圖7: 內(nèi)容

文件名：指定Excel文件生成的路徑。
擴展名：為生成文件選擇一個擴展名，可以選擇xls [Excel 97 and above]或xlsx [Excel 2007 and above]。
分割每...數(shù)據(jù)行：根據(jù)填入的數(shù)字分行生成文件。例如輸入1，則每一行數(shù)據(jù)生成一個文件。
如果文件已存在：如果文件已存在，下拉框選擇文件的輸出方式：覆蓋原文件、使用現(xiàn)有文件輸出。
結(jié)果中添加文件名：勾選此項，可把轉(zhuǎn)換的結(jié)果文件名存進流中，使其可以在后續(xù)步驟中被獲取。如圖1所示，作業(yè)的發(fā)送郵件入口可獲取上一入口Microsoft Excel輸出中的文件作為附件發(fā)送郵件。
工作表名：設(shè)置Excel的工作表名稱。
設(shè)為活動工作表：勾選此項，輸出工作表將是活動工作表（即打開文檔時看到的第一個工作表）。
如果輸出文件中已存在工作表：如果輸出文件中存在該工作表，則下拉框選擇該工作表的輸出方式：覆蓋原工作表、輸出至已存在的工作表中。
內(nèi)容標(biāo)簽中，如圖7所示，其中可以通過最下方的“獲取字段”獲取需要輸出的字段。