Oracle Golden Gate初識與部署

IT那活兒發布于2023-01-11 13:19 / 642人閱讀

點擊上方“IT那活兒”公眾號，關注后了解更多內容，不管IT什么活兒，干就完了！！！

一

OGG簡介

OGG是一種基于日志的結構化數據復制軟件，它通過解析源數據庫在線日志或歸檔日志獲得數據的增刪改變化（數據量只有日志的四分之一左右），其能夠實現大量交易數據的實時捕捉，變換和投遞，實現源數據庫與目標數據庫的數據同步，保持最少10ms的數據延遲。

主要應用場景有：

高可用容災，數據庫遷移、升級（支持跨版本、異構數據庫、零宕機時間、亞秒級恢復）
實時數據集成（支持異構數據庫、多源數據庫）

工作原理圖如下：

源端通過抽取進程提取redolog或archivelog日志內容，通過pump進程（TCP/IP協議）發送到目標端，最后目標端的rep進程接收日志、解析并應用到目標端，進而完成數據同步。

二

OGG相關進程介紹

GoldenGate主要包含Manager進程、Extract進程、Pump進程、Replicat進程。

2.1 Manager進程

無論是源端還是目標端有且只有一個Manager進程(主要用于啟動、關閉、監控其他進程的健康狀態，報告錯誤事件、分配數據存儲空間，發布閥值報告等)

2.2 Extract進程

數據庫源端進程，負責從源端數據表或日志中捕獲數據，當事務提交時，所有和該事務相關的日志記錄被以事務為單元順序的記錄到trail文件中。

Extract進程利用其內在的checkpoint機制，周期性的記錄其讀寫的位置，實現斷點同步。

Extract有兩種捕獲模式：

傳統模式
抽取方式：基于在線日志或歸檔日志進行抽取。
Integrated模式（Oracle Goldengate11g版本）
抽取方式：Logminingserver負責以LCR格式從數據庫日志中捕獲數據變化，extract進程再將這些數據存入trail文件。

2.3 Pump進程（可選）

運行在數據庫源端，其作用是將源端產生的本地trail文件，把trail以數據塊的形式通過TCP/IP協議發送到目標端(主要優點就是當目標端或者網絡失敗，源端的Extract進程不會意外終止)，但是如果如果不使用trail文件，那么extract進程在抽取完數據以后，直接投遞到目標端，生成遠程trail文件，那么這時候，Pump進程就可以不用配置(存在)了。

2.4 Replicat進程

標端進程，負責讀取源端傳送到目標端的trail文件中的內容，并將其解析為DML或DDL語句，然后應用到第三方(數據庫，kafka等異構平臺)。

Replicat兩種模式：

傳統模式：基于sql交付，最常用的一種方式。
Integrated模式（OGG12c）

Replicat操作的過程如下：

讀取源端傳輸過來的trail 文件；執行data數據過濾和轉換操作；
DML操作：根據commit順序，構造LCR；DDL操作：Replicat進程直接apply；
Replicat通過lightweightstreaming 接口和目標庫后臺進程（Databaseinbound server）建立連接；
將LCR傳輸到inboundserver，然后apply這些數據到目標數據庫。

三

部署環境配置

3.1 源端數據庫配置要求

配置歸檔：

altersystem set log_archive_dest_1 =LOCATION=/data/arch scope =spfile;

需要開啟force log 和supplemental log。

alterdatabaseforce logging;

alterdatabaseaddSUPPLEMENTAL log data;

altersystem set enable_goldengate_replication=true scope=both;

altersystem switch logfile;

檢查配置需如下：

selectNAME,OPEN_MODE,FORCE_LOGGING,SUPPLEMENTAL_LOG_DATA_MINfromv$database;

3.2 如果要讓GoldenGate支持DDL操作，還需要額外運行幾個腳本，這些腳本是OGG帶的，在GoldenGate的安裝目錄都可以找到，源端執行如下：

@marker_setup.sql

@ddl_setup.sql

@role_setup.sql

@ddl_enable.sql

#目標端&源端

創建OGG安裝用戶(可選,可以用Oracle用戶)

useradd-u 1003 -g oinstall -G dbaogg

passwdogg

#源端

修改安裝用戶環境變量：

PATH=$PATH:$HOME/.local/bin:$HOME/bin

exportPATH

exportNLS_LANG=AMERICAN_AMERICA.ZHS16GBK

exportORACLE_BASE=/u01/app/oracle

exportORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1

exportORACLE_SID=orcl

exportPATH=$PATH:HOME/bin:$ORACLE_HOME/bin


exportGGDATE=/data/ogg/ogg_install

exportLD_LIBRARY_PATH=$ORACLE_HOME/lib


source/home/ogg/.bash_profile

四

OGG軟件安裝

4.1 創建OGG安裝目錄

mkdir-p /data/ogg

chown-R ogg:oinstall /data/ogg

4.2 解壓安裝

unzip191004_fbo_ggs_Linux_x64_shiphome.zip -d /data/ogg/

cd/data/ogg/fbo_ggs_Linux_x64_shiphome/Disk1/response

4.3 進入解壓后的目錄，修改配置文件中如下參數

4.4 執行靜默安裝

cd/data/ogg/fbo_ggs_Linux_x64_shiphome/Disk1

./runInstaller-silent -responseFile/data/ogg/fbo_ggs_Linux_x64_shiphome/Disk1/response/oggcore.rsp

4.5 進入軟件安裝路徑

./ggsci

源端OGG軟件安裝成功。

4.6 目標端大數據OGG軟件安裝

軟件解壓和安裝同源端。

本文作者：江夢豪（上海新炬王翦團隊）

本文來源：“IT那活兒”公眾號

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129278.html

Infor：命運的十字路口

摘要：表示科氏和金門資本一直是卓越的合作伙伴，我們全球名員工對這一里程碑感到十分興奮，因為我們已經為下一階段的業務增長做好了準備。那就是被收購，作為私募資本，無論還是金門資本，最終尋求的都是一個很好的退出價格。眾所周知，有些企業天生好斗，而有些就比較佛系，比如傳統企服大廠Infor就是一家比較恬淡的廠商，不僅我們在國內較少看到它的消息，甚至是在國外市場中，Infor也是相對比較冷一些的廠商。從某種...

rainyang 2019-04-29 19:31 評論0 收藏0
云計算新聞與戰略iaas、saas、paas云技術

摘要：放棄一個一云即合一的方法，并使用來自不同云提供商的多個服務，提供一系列美國電信巨頭在云計算公司的幫助下，作為一個三年期交易的一部分，據說超過。關系數據庫在這里待著在企業中處于更大的云和數據復雜性中關系數據庫的死亡報告已經被極大地夸大了，至少在企業中是這樣的。根據一項來自Progress Software的新研究，公司最新的年度數據連接報告而內部部署的關系報告l SQL Server、MySQ...

番茄西紅柿 2019-03-21 15:45 評論0 收藏0
7個需要揭開的云迷思

當涉及古代神靈和英雄的故事時，很多神話都是有益和有趣的。然而，當一些業界神話妨礙IT或企業成功時，那么可能會讓他們感到困擾。因此，一些頑固的錯誤觀念可能會阻礙或延遲采用可能具有生產力的云計算服務。銀行控股機構Capital One公司云計算戰略副總裁Bernard Golden表示：我們仍然處于云計算革命的早期階段，但通過遷移到云平臺可以看到早期采用者所取得的成果。如果未能認識到這場革命的影響，不...

forrest23 2019-04-29 19:33 評論0 收藏0
新書推薦 |《PostgreSQL實戰》出版(提供樣章下載)

摘要：作者譚峰張文升出版日期年月頁數頁定價元本書特色中國開源軟件推進聯盟分會特聘專家撰寫，國內多位開源數據庫專家鼎力推薦。張文升中國開源軟件推進聯盟分會核心成員之一。很高興《PostgreSQL實戰》一書終于出版，本書大體上系統總結了筆者 PostgreSQL DBA 職業生涯的經驗總結，本書的另一位作者張文升擁有豐富的PostgreSQL運維經驗，目前就職于探探科技任首席PostgreS...

Martin91 2019-07-25 12:36 評論0 收藏0