国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

跨IDC同步工具及常用場景介紹

IT那活兒 / 4037人閱讀
跨IDC同步工具及常用場景介紹
一. 跨IDC同步工具簡介


  1. 典型管理系統(tǒng)架構(gòu)，Manager（web管理，包含全量同步工具）+Node（工作節(jié)點）

    manager運行時推送同步配置到node節(jié)點（rpc）
    node節(jié)點將同步狀態(tài)反饋到manager上（rpc）

  2. 基于zookeeper，允許多Node節(jié)點之間協(xié)同工作。

  3. 配置信息和同步日志保存在數(shù)據(jù)庫DB中。

  • Select日志抽取，轉(zhuǎn)換為組件內(nèi)部事件。

  • Extract記錄反查，補全變更記錄。

  • Transform表名/字段轉(zhuǎn)換；load加載入庫。


二. 三種部署方式


node可以有三種部署方式：

  1. 全部部署在生產(chǎn)機房；

  2. 全部部署在災(zāi)備（目標端）機房；

  3. 分別部署在兩個機房中，其中生產(chǎn)機房中的node負責(zé)SE階段，災(zāi)備（目標端）機房中的node負責(zé)TL階段，不同機房中的node通過rpc或http通信。

三種方式各有優(yōu)劣，用戶可根據(jù)實際環(huán)境中的網(wǎng)絡(luò)速度、機器硬件、數(shù)據(jù)庫性能等條件選擇最優(yōu)方案。


三. 跨IDC同步工具常用應(yīng)用場景

跨IDC工具支持的同步場景：

生產(chǎn)中常用的源端數(shù)據(jù)庫類型為Oracle、MySQL、分布式TeleDB、PostgreSQL
常用的目標端類型為Oracle、MySQL、分布式TeleDB、PostgreSQL、Kafka。

場景1：獲取MySQL數(shù)據(jù)庫增量日志數(shù)據(jù)（MySQL主備復(fù)制實現(xiàn)）

  1. master將改變記錄到二進制日志(binary log)中；

  2. slave將master的binary log events拷貝到它的中繼日志(relay log)；

  3. slave重做中繼日志中的事件，將改變反映它自己的數(shù)據(jù)。

Canal的工作原理

  1. canal模擬mysql slave的交互協(xié)議，偽裝自己為mysql slave，向mysql master發(fā)送dump協(xié)議。

  2. mysql master收到dump請求，開始推送binary log給slave(也就是canal)。

  3. canal解析binary log對象(原始為byte流)。


場景2：通過oracle物化視圖解決oracle數(shù)據(jù)源增量數(shù)據(jù)抽取問題，采用消息隊列緩沖減少源庫的壓力，使用統(tǒng)一格式封裝處理與數(shù)據(jù)同步組件無縫銜接，實現(xiàn)oracle源數(shù)據(jù)的并行實時傳輸。

數(shù)據(jù)抽取

  1. 基于Oracle的物化視圖日志并行增量訂閱/解析。

  2. 增量數(shù)據(jù)放入消息隊列，保證順序性，減少物化視圖訪問量，便于簽收、重傳，幫助實現(xiàn)并行加載。

  3. 使用統(tǒng)一格式封裝處理，兼容數(shù)據(jù)傳輸模塊。

數(shù)據(jù)加載

  1. 根據(jù)目標庫類型自動選擇數(shù)據(jù)庫引擎，構(gòu)造對應(yīng)SQL語句，處理特殊字段類型。

  2. 源于Oracle的增量數(shù)據(jù)多批次并行加載。


END


更多精彩干貨分享

點擊下方名片關(guān)注

IT那活兒

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://specialneedsforspecialkids.com/yun/129889.html

相關(guān)文章

  • 技術(shù)大咖杭州“論劍”，電商進入“智能 + ”

    摘要：月日，由騰訊云聯(lián)手極客邦科技共同組織的線下沙龍會議在杭州舉辦。騰訊云技術(shù)專家姚俊軍表示。未來，騰訊云將繼續(xù)保持開放連接的理念，為電商企業(yè)提供更加智慧的解決方案，為行業(yè)云上發(fā)展賦能。 12 月 22 日，由騰訊云聯(lián)手極客邦科技共同組織的線下沙龍會議在杭州舉辦。本次沙龍會議邀請了來自騰訊云、小紅書、蘑菇街等企業(yè)的技術(shù)專家，共同探討了數(shù)字信息時代構(gòu)建自主可控的智能+電商平臺的趨勢和解決方案。...

    banana_pi 評論0 收藏0

  • 技術(shù)大咖杭州“論劍”，電商進入“智能 + ”

    摘要：月日，由騰訊云聯(lián)手極客邦科技共同組織的線下沙龍會議在杭州舉辦。騰訊云技術(shù)專家姚俊軍表示。未來，騰訊云將繼續(xù)保持開放連接的理念，為電商企業(yè)提供更加智慧的解決方案，為行業(yè)云上發(fā)展賦能。 12 月 22 日，由騰訊云聯(lián)手極客邦科技共同組織的線下沙龍會議在杭州舉辦。本次沙龍會議邀請了來自騰訊云、小紅書、蘑菇街等企業(yè)的技術(shù)專家，共同探討了數(shù)字信息時代構(gòu)建自主可控的智能+電商平臺的趨勢和解決方案。...

    n7then 評論0 收藏0

  • 數(shù)據(jù)庫的 Consistency 與 Leaky Abstraction

    摘要：最近在學(xué)習(xí)各大互聯(lián)網(wǎng)公司是如何處理數(shù)據(jù)一致性的。目前已知的有這么幾種數(shù)據(jù)庫做到情況下的強一致性淘寶淘寶頂級科學(xué)家陽振坤微博號阿里正祥，發(fā)出一則消息。然后因為數(shù)據(jù)庫是的，內(nèi)部把改動到了北美，君就可以看到消息了。 最近在學(xué)習(xí)各大互聯(lián)網(wǎng)公司是如何處理數(shù)據(jù)一致性的。因為之前從事的不是這個方向的工作，所以并非什么經(jīng)驗之談，只是一些學(xué)習(xí)筆記。所有資料來自互聯(lián)網(wǎng)。 Consistent => Ev...

    Wildcard 評論0 收藏0

發(fā)表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<