国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

OGG普通抽取模式轉換成集成模式遇到的坑

IT那活兒 / 2386人閱讀
OGG普通抽取模式轉換成集成模式遇到的坑
點擊上方“IT那活兒”公眾號，關注后了解更多內容，不管IT什么活兒，干就完了！！！
一

問題背景

大數據平臺需要通過配置OGG抽取進程，對數據庫中壓縮表進行抽取投遞，因為原始配置的OGG抽取進程是普通抽取模式，而普通抽取模式無法針對壓縮表進行抽取，需要升級OGG抽取模式從普通模式升級到集成捕捉模式，因生產環境按照標準設定的連接數是2000，當前固定的連接數一直維持在1800。

1）環境介紹

  • 數據庫版本：11.2.0.4
  • 操作系統內核版本：Red Hat Enterprise Linux Server release 6.10 (Santiago)

  • 數據庫架構：11G R2單實例數據庫

2）環境依賴

  • 測試環境
    數據庫版本：11.2.0.4  oracle數據庫
    OGG版本：12.1.2.1.10

    （此版本支持集成模式，可以抽取壓縮表，版本太低無法完成壓縮表的抽取）

  • 生產環境
    數據庫版本：11.2.0.4  oracle數據庫
    OGG版本：12.1.2.1.10
二

實際升級步驟

2.1 源環境現狀

源環境有兩組進程，一組是普通的抽取模式，一種是集成抽取模式。
因為KAFKA進程依賴的抽取數據和源進程有沖突，因此新建了針對多帶帶特定表的抽取投遞進程，普通抽取進程（Log Read Checkpoint  Oracle Redo Logs），集成模式抽取進程（Log Read Checkpoint  Oracle Integrated Redo Logs）。
集成模式依賴LogMiner的抽取進程：

2.2 測試環境模擬驗證

測試環境模式生產,兩個抽取進程一個普通模式，一個集成模式,可以看到普通模式不會在數據庫中注冊進程，不會占用數據庫進程數。
見下圖可以看到集成模式會在數據庫中注冊捕獲進程，而普通模式不會，同時啟動集成模式會占用數據庫連接數15個。
2.3 升級集成模式

2.3.1 升級抽取進程

1）注冊抽取進程
stop EXT_KFK
register EXTRACT EXT_KFK database
2）啟動抽取進程確保抽取點在注冊進程之后，否則無法升級
start EXT_KFK
info EXT_KFK
3）升級抽取進程為集成模式
stop EXT_KFK
alter extract EXT_KFK ,upgrade integrated tranlog
alter extract EXT_KFK ,downgrade tranlog

2.3.2 查看進程

可以看到新增抽取進程，數據庫會新增15條左右的連接數，需要確保連接數足夠，整體看連接數是充足的，整個升級過程中未預見超出預期的情況。

2.4 正式環境開始實施

stop EXT_KFK
register EXTRACT EXT_KFK database
start EXT_KFK
stop EXT_KFK
alter extract EXT_KFK ,upgrade integrated tranlog
同樣的操作，當執行upgrade后：

1）數據庫連接數飆升

2）OGG 報ORA-01372錯誤

ORA-01372: 用于指定 LogMiner 操作的進程數不足。

3）數據庫alter報連接數超限進程未再次分配

2.5 回退

因連接限制升級并非成功，緊急回退：unregister EXTRACT EXT_KFK database。
由于此操作是下班時間做，系統使用的人少，進程超限后未再次分配，使得還有幾個空閑連接，緊急回退后連接數告警消除。
三

升級解決方案

此庫為1核128G單實例節點，DOP=128，由于OGG配置4路并發導致啟動升級后系統會形成4*128個并行進程去收集統計信息。
單實例數據：
ogg并發配置：

  • 1）增大process值（需要重啟數據庫）

    alter system set processes=3000 scope=spfile;

  • 2）調整parallelism為1

    TRANLOGOPTIONS INTEGRATEDPARAMS (max_sga_size 2048, parallelism 4)  調整為
    TRANLOGOPTIONS INTEGRATEDPARAMS (max_sga_size 2048, parallelism 1)；

  • 3）調整并行度參數

    調整parallel_degree_limit,parallel_threads_per_cpu, cpu_count, or parallel_max_servers參數來限制并行度。


本文作者：朱澤劍(上海新炬中北團隊）

本文來源：“IT那活兒”公眾號

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129128.html

相關文章

  • OGG Integrated Native DDL簡單測試

    OGG Integrated Native DDL簡單測試 img{ display:block; margin:0 auto !important; width:100%; } body{ width:75%;...

    IT那活兒 評論0 收藏1085

  • 重磅重構開源 讓H5標簽代替C++實時解碼播放speex壓縮協議的音頻文件 【IM的福音】

    摘要：編碼結束后，調用函數，來銷毀和編碼器。調用函數對參數中的格式音頻數據幀進行解碼，參數中存放解碼后的音頻數據幀。調用函數來銷毀和解碼器說重點當做即時通信產品，像微信這種的手機端，它們接受到很有可能就是協議壓縮后的音頻文件。 showImg(https://segmentfault.com/img/bVbtzkh?w=1024&h=682); 這么牛逼的輪子，肯定要美圖鎮樓 Speex是一...

    curried 評論0 收藏0

發表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<