国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

Greenplum表故障處理--Primary和mirror

IT那活兒 / 2698人閱讀
Greenplum表故障處理--Primary和mirror

點擊上方“IT那活兒”公眾號，關注后了解更多內容，不管IT什么活兒，干就完了?。。?/strong>

primary和mirror的主備同步機制

greenplum是基于postgreSQL進行開發的，主備是通過流復制實現，但segment節點的primary和mirror之間的數據同步是基于文件級別的同步實現的。
primary和mirror同步的內容主要有兩部分：文件和數據。
之所以primary和mirror要同步文件，是因為primary和mirror之間可以自動failover，只有兩者保持同步才能相互替代，如果只把數據同步過去，pg_control、pg_clog、pg_subtrans 沒有同步，那么從primary切換到mirror就會出現問題。
master和slave卻不用擔心這些問題，Append Only 表的數據只會存在 Segment，所以wal日志足夠保持master和slave同步(只要是流復制，pg_control、pg_clog、pg_subtrans 這些文件slave會自動更新，無需從master同步)。
1）數據同步
當master向primary下發執行計劃后，primary開始執行，如果是dml操作，那么primary會產生XLOG及更新page。會在SlruPhysicalWritePage函數中(寫數據頁)產生FileRepOperationOpen、FileRepOperationWrite、FileRepOperationFlush、FileRepOperationClose等指令消息(消息中包含具體要更新的文件page及內容)，通過primary sender進程向mirror發送message，然后mirror的mirror consumer等進程解析消息，執行變更。
xlog通過XLogWrite函數(寫xlog)執行同樣的操作，把xlog更新同步過去。
2）文件同步

primary的recovery進程會循環把primary的 pg_control、pg_clog、pg_subtrans 等文件覆蓋到mirror。同時檢查xlog是否一致，如果不一致以primary為主，對mirror進行覆蓋。除把primary部分文件同步到mirror之外recovery進程還會將mirror上面的臨時文件刪掉。

創建一個ao表并插入數據

通過pg_class系統表查找該表所屬的數據塊。
Primary所對應的數據塊的位置。
1. 到對應mirror下模擬mirror損壞的情況
修改mirror下16872.1這個數據塊，可以看到md5sum校驗值已經不同。
這時查看表格發現可以正常查詢。
2. 模擬primary損壞的情況
同理修改primary下16872.1這個數據塊，會發現查詢報錯。
可以通過報錯信息提示查看數據塊所在的實例：
gpstate -c | grep seg0查找實例對應的primary主機和mirror主機。
Ms5sum校驗文件：
md5sum /home/gpadmin/gpdata/gpdatam1/gpseg0/base/16412/16872.1
md5sum /home/gpadmin/gpdata/gpdatap1/gpseg0/base/16412/16872.1
Mirror傳輸覆蓋到primary。
scp /home/gpadmin/gpdata/gpdatam1/gpseg0/base/16412/16872.1 
192.168.**.***:/home/gpadmin/gpdata/gpdatap1/gpseg0/base/16412/16872.1
之后該表可以正常查詢。


本文作者：陸 游(上海新炬王翦團隊）

本文來源：“IT那活兒”公眾號

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129151.html

相關文章

  • 數據倉庫架構的變遷

    摘要：前面我們簡單闡述了分布式數據庫的架構，并通過一條簡單的查詢語句解釋了分布式的執行計劃。 引言 第八屆中國架構師大會（SACC2016）10月27號到29號在北京萬達索菲特大飯店成功舉辦。大會以架構創新之路為主題，云集了國內外頂尖專家，共同探討云計算和大數據等技術背景下，如何通過架構創新及各種IT新技術來帶動企業轉型增效。作為一家專注于云端數據倉庫的初創公司，酷克數據受邀在SACC201...

    Raaabbit 評論0 收藏0

  • centos7.3下 greenplum-db 安裝、配置文檔

    摘要：下安裝配置文檔一系統要求系統版本要求根據官方文檔支持以下幾種系統文件系統要求數據存儲目錄為文件系統二下安裝服務器列表主節點數據節點數據節點主節點切換備用節點修改系統配置項關閉關閉防火墻修改內核配置參數并執行使之生 centos7.3下 greenplum-db 安裝、配置文檔 一.系統要求 1.系統版本要求:根據官方文檔： greenplumd-b支持以下幾種linux系統: ...

    neuSnail 評論0 收藏0

  • 探索Greenplum的實踐，了解新一代大數據處理利器

    摘要：上有主節點和從節點兩部分，兩者主要的功能是生成查詢計劃并派發，以及協調并行計算，同時在上保存著，這個全局目錄存著一組數據庫系統本身所具有的元數據的系統表。 前言：近年來，互聯網的快速發展積累了海量大數據，而在這些大數據的處理上，不同技術棧所具備的性能也有所不同，如何快速有效地處理這些龐大的數據倉，成為很多運營者為之苦惱的問題！隨著Greenplum的異軍突起，以往大數據倉庫所面臨的很多...

    supernavy 評論0 收藏0

發表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<