OGG的Veridata組件使用

IT那活兒發布于2023-01-11 13:20 / 699人閱讀

OGG的Veridata組件使用

點擊上方藍字關注我們

一、Veridata組件簡介

1.1 Veridata引出

OracleGoldenGate產品體系如下：

軟件名稱	用途
GoldenGate	一般常用的安裝包，針對不同平臺不同類型數據庫不同版本有不同的安裝包。安裝后可以配置參數，啟Mgr、Extract、Replcat進程，實現數據鏈路的復制。
GoldenGate Veridata	數據同步比對工具，將一組數據與另一組數據進行比較，并標識不同步的數據，并允許您修復發現的所有不同步數據。

1.2 Veridata架構

Veridata組件說明

組件名	組件說明
Veridata Server	協調veridata對比任務的執行、compare data、COOS、sort row、produce report
Veridata Web UI	配置對比對象和規則、initial compare、review status and oos data、repair oos data
Veridata Repository	不存儲oos data，可以是oracle、mysql或sqlserver
Veridata Agent	和DB交互（hash row for initial compare、 Fetch and update rows to repair out-of-sync data、 Return column-level detail for out-of-sync rows ）
VeridataCommand-line Utilities	reportutility（查詢加密的oos數據和report）、vericom（手工發指令定義job去執行數據對比）、veridata_scripting（創建xml文件來配置veridata，代替使用webui）

二、Veridata安裝

2.1 安裝準備

安裝規劃

1臺服務上安裝veridata的所有組件，veridata的agent可以不在源庫或者目標庫上，這里和Sever在一起部署。

軟件準備

軟件項目	軟件包
配置庫	oracle11g數據庫實例、字符集UTF8
JDK	jdk1.7
Fusion Middleware Infrastructure	fmw_12.1.3.0.0_infrastructure.jar
veridata server	fmw_12.1.3.0.0_ogg.jar
veridata jagent	fmw_12.1.3.0.0_ogg.jar

2.2 安裝過程

主要安裝步驟如下：

1）準備好oracle11g數據庫實例veri

2）安裝JDk1.7

3）安裝FusionMiddleware Infrastructure 12c(12.1.3.0)

4）veridataserver安裝

5）veridatajagent的安裝

主要安裝截圖展示：

Veridata Server安裝

Veridata JAgent安裝

2.3 相關概念

按照ConnectionConfiguration ? GroupConfiguration ?comparepair主線配置概念進行說明。

配置項	配置說明
連接配置Connection Configuration	配置agent 到需要對比的DB的連接。
組配置 Group Configuration	包含一個或多個compare pair的邏輯容器。
compare pair	表示一張源表與一張目標表之間的邏輯關系，包含了需要比較的一張源表與一張目標表，可以進一步指定列的映射關系以及行的子集。
profile配置	一組全局的參數設置。Veridata 提供了一個dfault profile，也可創建自己的profile，用戶可以根據需要創建多個profile，并與任意的job或者compare pair（用于覆蓋job的profile的參數設置）關聯。
job配置	為了進行比較，必須運行一個作業。作業的配置中指定了需要處理的compare pair ，以及運行時的參數。在創建作業之前，需要先創建至少一個compare group，如果需要定制運行時的參數設置，還需要創建至少一個profile，否則該作業會使用系統缺省的profile。）相關聯。

三、Veridata使用

3.1 比對流程

Veridata數據比對流程

兩階段

1）初始對比（Initialcomparsion，或者稱為行哈希對比階段）：

從源和目標查詢行（如果格式不一致，會被自動轉換成標準化的數據類型），

進行第一次對比（PK列的值比較值、非PK列計算hash后進行比較，可以降低網絡上的傳輸成本（當然也可以對非PK列比較列值，性能會慢且網絡開銷大））；第一次compare的不同步的記錄，會存儲在內存中的MOOSqueue中（maybe-out-of-sync）；（因為某些行的數據可能正在被復制，因此可能只是暫時有不同）

2）確認階段（也稱為COOS（confirm-out-of-sync）階段）：這個階段從MOSSqueue里取數據，對這些可能不同步（OOS）的數據進行再次對比。

第二階段對比的結果可能有3種：

In-flight：確認階段發現源和目標這些行還是不一樣，而且和第一階段的比較也不一樣，說明第一階段之后這些行又有新的變化了，veridata無法確認是否同步；
In-sync：確認已經同步；
persistentlyout-of-sync：確認不同步；

確認persistentlyout-of-sync的行保存在文件中(OOSfile, out-of-syncfile，可以是xml、bin等格式，非DB保存，該文件包含了需要選擇這些數據進行重新同步的所有信息，包括了每張表的元數據信息。可以使用上一次的OOS文件作為下一次比較的輸入信息）

3.2 Veridata數據一致性校驗

第一步，啟動veridata服務器

1）啟動veridata的數據庫和監聽

2）啟動weblogic中間件

3）啟動veridata管理服務器

4）配置agent的jdbc連接，并啟動代理agent服務進程

5）登陸veridata平臺

地址：http://XX.XX.XX.XX:8830/veridata

第二步，veridata的配置使用

1）確認需要比對的表

2）配置過程

按照ConnectionConfiguration ? Group Configuration ?compare pair主線配置。

第1步：連接配置

第2步：組配置

第3步：組參數配置comparepair添加

第4步：profile配置

第5步：job配置

第6步：運行比對作業job

第7步：查看報告

3）對比結果處理

第1步：對比作業使用的配置文件核查

第2步：生成的比對報告結果及文件位置

第三步：比對結果確認與評估

3.3 Veridata的數據一致性修復

比對完成后針對不一致的記錄，可以選中，直接點擊RunRepair執行repairpair對目標端不一致數據表進行修復。修復后再次比對表的數據一致性就發現已經一致了。

四、總結

在日常的數據庫運維及數據遷移工作中，數據比對驗證的方法有很多，除去手工比對方法之外，使用Veridata工具進行嘗試也是一個不錯的選擇。

OracleGoldenGate Veridata作為一個獨立的產品，是一種高性能的數據對比解決方案，對在兩個數據庫之間進行數據復制時可能存在的差異進行確認和報告。

GoldenGate Veridata在兩端數據庫保持在線的情況下進行數據對比。數據一致性在數據遷移和數據同步的場景下是最關鍵的重要環節，而Veridata就可以解決大部分我們對數據一致性的剛性需求。

大部分Oracle DBA都會遇到場景：

場景	需求	Veridata的作用
OGG數據同步	在OGG的日常維護中，經常遇到因為源和目標的數據不一致而導致進程復制進程abend(或者異常discardfile或者入異常記錄表)，如果有工具能驗證數據一致性并修正數據該多好啊？	Veridata可以在源庫和目標庫之間比對數據并修復不一致的數據。
數據庫遷移	根據業務需要，需要將數據從A庫遷移到B庫，如何保證業務遷移前后，數據庫A和數據庫B的數據完全無誤？	Veridata作為權威的第三方工具，可以出報表說明哪些表的數據是否一致
數據庫升級	根據升級需要，業務系統需要升級，如何保證備份數據和升級數據一致性？	Veridata快速校驗數據是否一致

Veridata技術特點

1）易于使用、高性能且侵入性極低的產品，可用戶管理數據一致性。

2）比較包含大量數據的數據庫

3）在線比較數據不斷變化的數據庫

4）消耗的資源低

5）配置使用靈活，功能強大

6）選擇性、并行比較

7）異構性：可以支持不同數據庫之間的compare

8）性能：大約十幾M-幾十M/秒；

9）對在線的支持：veridata可以脫離ogg運行環境

END

云服務器 GPU云服務器 vuejs組件使用在php中使用組件 asp使用第三方組件 ogg

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129997.html

OGG Integrated Native DDL簡單測試

OGG Integrated Native DDL簡單測試 img{ display:block; margin:0 auto !important; width:100%; } body{ width:75%;...

IT那活兒 2023-01-11 13:20 評論0 收藏1085
10 個你不知道你需要的 HTML 元素

摘要：如果你想了解更多關于的知識，可以訪問以獲得更多的元素。如果用戶代理不支持指定的類型，那么這個元素會被跳過。想閱讀更多優質文章請猛戳GitHub博客,一年百來篇優質文章等著你！我聽過 HTML很容易這種情緒的次數比我想象的要多。雖然我同意 HTML 可能比其他編程語言更容易學習，但你不應該認為它是理所當然的。 HTML 是一種功能強大的標記語言，可用于為我們的 web 應用程序提...

Mike617 2019-08-02 16:15 評論0 收藏0
10 個你不知道你需要的 HTML 元素

摘要：如果你想了解更多關于的知識，可以訪問以獲得更多的元素。如果用戶代理不支持指定的類型，那么這個元素會被跳過。想閱讀更多優質文章請猛戳GitHub博客,一年百來篇優質文章等著你！我聽過 HTML很容易這種情緒的次數比我想象的要多。雖然我同意 HTML 可能比其他編程語言更容易學習，但你不應該認為它是理所當然的。 HTML 是一種功能強大的標記語言，可用于為我們的 web 應用程序提...

張漢慶 2019-08-23 17:16 評論0 收藏0
那是我在夕陽下的奔跑：邊跑邊學習html5之audio與video

摘要：尤其是喬布斯在年發布的一篇的文章。喬布斯在里面寫下了關于的一點看法，說明自己為什么不使用，談到關于的一些問題，比如開放性，安全性，對于設備續航的影響，不利于觸摸屏，等等。終于，于年月日，爸爸也放棄治療了，宣布將于年正式退休。今天為大家分享一下html5中的視頻（video）與音頻（audio）。在進入主題之前我們先了解一下Flash與html5這兩種技術的時代背景與發展歷史。 1.前...

gself 2019-08-20 19:04 評論0 收藏0