Ogg For Bigdata 同步數據多一列

IT那活兒發布于2023-01-11 13:19 / 1042人閱讀

點擊上方“IT那活兒”公眾號，關注后了解更多內容，不管IT什么活兒，干就完了！！！

最近業務反饋kafka解析出的sql語句多一列，對比表字段后發現果然多一列，并且多的這一列在倒數第三行且是0。該數據源是ogg for bigdata。在復制進程的report 文件中發現了端倪。

源端表結構是沒有這一列的。由于是往kafka同步，附加日志添加的是全字段。在向公司老哥說明情況后，發現與跨年見表期間一個現象很類似。根據當時的mos發現了問題所在。

下面的例子證明了這一點：

--創建這個表，但是先不創建 DEAL_TYPE 列。

SQL> CREATE TABLE "TEST"
( "MIDPLATORDERID" VARCHAR2(64) NOT NULL ENABLE,
"OPPOORDERID" VARCHAR2(64) NOT NULL ENABLE,
"SERVICETYPE" VARCHAR2(2) NOT NULL ENABLE,
"PHONEID" VARCHAR2(20) NOT NULL ENABLE,
"REGION" VARCHAR2(3) NOT NULL ENABLE,
"PRODUCTID" VARCHAR2(32) NOT NULL ENABLE,
"PRODUCTNAME" VARCHAR2(128) NOT NULL ENABLE,
"PRODUCTNAMEANDFEE" VARCHAR2(128) NOT NULL ENABLE,
"FEECOURSE" VARCHAR2(128),
"ORIGINFEE" VARCHAR2(9) NOT NULL ENABLE,
"PREFEE" VARCHAR2(9) NOT NULL ENABLE,
"TOTALFEE" VARCHAR2(9) NOT NULL ENABLE,
"COSTUNIT" VARCHAR2(2) NOT NULL ENABLE,
"ORDERTIME" DATE NOT NULL ENABLE,
"REQUESTTIME" DATE NOT NULL ENABLE,
"PROORDERID" VARCHAR2(32) NOT NULL ENABLE,
"REALFEE" VARCHAR2(9) NOT NULL ENABLE,
"DEDUCTTIME" DATE NOT NULL ENABLE,
"STATUS" VARCHAR2(2) NOT NULL ENABLE
) ;

--可以看到有19個列被創建出來了：

SQL> select column_name,data_type,DATA_LENGTH from user_tab_cols where table_name = TEST;

COLUMN_NAME DATA_TYPE DATA_LENGTH
------------------------- -------------------- -----------
MIDPLATORDERID VARCHAR2 64
OPPOORDERID VARCHAR2 64
SERVICETYPE VARCHAR2 2
PHONEID VARCHAR2 20
REGION VARCHAR2 3
PRODUCTID VARCHAR2 32
PRODUCTNAME VARCHAR2 128
PRODUCTNAMEANDFEE VARCHAR2 128
FEECOURSE VARCHAR2 128
ORIGINFEE VARCHAR2 9
PREFEE VARCHAR2 9
TOTALFEE VARCHAR2 9
COSTUNIT VARCHAR2 2
ORDERTIME DATE 7
REQUESTTIME DATE 7
PROORDERID VARCHAR2 32
REALFEE VARCHAR2 9
DEDUCTTIME DATE 7
STATUS VARCHAR2 2

19 rows selected.

--添加一個帶 default value 的列 DEAL_TYPE：

SQL> ALTER TABLE TEST ADD (DEAL_TYPE VARCHAR2(1) DEFAULT 0);

Table altered.

--這之后可以看到 user_tab_cols / dba_tab_cols 顯示了 21 個列，并且包括一個 SYS_NC000XX$ 的列：

SQL> select column_name,data_type,DATA_LENGTH from user_tab_cols where table_name = TEST;

COLUMN_NAME DATA_TYPE DATA_LENGTH
------------------------- -------------------- -----------
MIDPLATORDERID VARCHAR2 64
OPPOORDERID VARCHAR2 64
SERVICETYPE VARCHAR2 2
PHONEID VARCHAR2 20
REGION VARCHAR2 3
PRODUCTID VARCHAR2 32
PRODUCTNAME VARCHAR2 128
PRODUCTNAMEANDFEE VARCHAR2 128
FEECOURSE VARCHAR2 128
ORIGINFEE VARCHAR2 9
PREFEE VARCHAR2 9
TOTALFEE VARCHAR2 9
COSTUNIT VARCHAR2 2
ORDERTIME DATE 7
REQUESTTIME DATE 7
PROORDERID VARCHAR2 32
REALFEE VARCHAR2 9
DEDUCTTIME DATE 7
STATUS VARCHAR2 2
SYS_NC00020$ RAW 126 <===============
DEAL_TYPE VARCHAR2 1

21 rows selected.

知道了問題所在后，解決方法很簡單，只要在源端抓取數據的時候，指定具體的列名稱。

如：

TABLE test.test ,cols(col1,col3);

本文作者：呂金臣(上海新炬王翦團隊）

本文來源：“IT那活兒”公眾號

云服務器 GPU云服務器 BigData 多一點 ogg 兩列數據合并成一列

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129188.html

OGG Integrated Native DDL簡單測試

OGG Integrated Native DDL簡單測試 img{ display:block; margin:0 auto !important; width:100%; } body{ width:75%;...

IT那活兒 2023-01-11 13:20 評論0 收藏1085
Hive的安裝及配置

摘要：本文將逐一介紹連接這三種數據庫數據庫的安裝和配置。配置環境變量在文件中添加如下內容，執行使其生效。 title: Hive的安裝及配置summary: 關鍵詞：Hive ubuntu 安裝和配置 Derby MySQL PostgreSQL 數據庫連接date: 2019-5-19 13:25urlname: 2019051903author: foochaneimg: /media...

v1 2019-07-24 10:56 評論0 收藏0
Hadoop分布式集群的搭建

摘要：分布式集群的搭建關鍵詞分布式集群環境搭建網絡配置環境大數據大數據本文作者本文鏈接安裝說明用到的軟件軟件版本下載地址節點安排名稱主節點子節點子節點創建用戶所有的節點均創建一個名為的用戶，并添加管理員權限。后續的軟件均可使用此方式配置。 title: Hadoop分布式集群的搭建summary: 關鍵詞： Hadoop ubuntu 分布式集群環境搭建 ssh 網絡配置 java環境 ...

leon 2019-07-24 10:56 評論0 收藏0