GreenPlum生產環境SEGMENT節點擴容方案

IT那活兒發布于2023-01-11 13:19 / 3685人閱讀

點擊上方“IT那活兒”公眾號，關注后了解更多內容，不管IT什么活兒，干就完了！！！

Greenplum鏡像策略

grouped方式是將每個Host的鏡像都放在下一個host上，所有計算節點形成一個環。在擴展segment時，要求新增主機數量為2的倍數。

spread方式是將每個Host的鏡像依次分散到后續的Segment主機上。在擴展segment時，要新增主機數大于每個segment上的Primary節點個數。

新增主機硬件資源

類型	建議
操作系統	和原始集群操作系統版本保持一致
CPU	建議和原始集群CPU相同，至少保證性能不低于原始
MEM	建議和原始集群segment上內存大小至少保持一致（頻率等）
磁盤	建議對新機器磁盤做壓力測試，保證性能不低于原始集群
數據目錄名	和原始集群保持一致

集群擴展前置工作

1. 新增主機修改主機名

vi /etc/hostname

2. 配置/etc/hosts

所有主機都需要進行配置，將新增主機加入到原始集群。

3. 配置SSH免密

將新增主機和原始集群中各個segment和master、standby節點配置SSH免密。

4. 安裝Greenplum軟件包

4.1 安裝依賴包

yum -y install rsync coreutils glib2 sysstat e4fsprogs 
xfsprogs ntp readline readline-devel zlib zlib-devel openssl 
openssl-devel pam pam-devel libxml2 libxml2-devel libxslt 
libxslt-devel python python-devel tcl tcl-devel gcc gcc-c++ 
make smartmontools flex flex-devel bison bison-devel bison-
runtime perl perl-devel perl-ExtUtils* OpenIPMI-tools 
openldap openldap-devel logrotate ldapjdk ldapjdk-devel 
libevent libevent-devel libcurl libcurl-devel bzip2 bzip2-
devel bzip2-libs libyml libyml-devel libyaml libyaml-devel 
apr-util-devel apr-devel uuid uuid-devel systemd* cur-devel 
ed python-psutil python-paramiko python-lockfile libssh2 
libss2-devel icu libicu libicu-devel libaio libaio-devel 
libtool isomd5sum isomd5sum-devel liblockfile liblockfile-devel psutils

4.2 關閉防火墻

systemctl stop firewalld.service
systemctl disable firewalld.service

4.3 創建用戶和用戶組

groupadd gpadmin
useradd -g gpadmin gpadmin
passwd gpadmin

4.4 關閉selinux

vi /etc/selinux/config

修改：SELINUX=disabled

4.5 修改主機內核參數

建議：和原始集群segment上內核參數保持一致。

4.6 修改用戶資源限制

cat /etc/security/limit.conf

建議：和原始集群segment上用戶資源限制保持一致。

4.7 安裝greenplum軟件

yum install -y greenplum-4.3.33.rpm

安裝完畢后，配置環境變量。

集群擴展segment

1. 生成擴展配置文件

1）生成主機列表

編輯文件，保存新增segment主機名。

內容如下：

2）生成擴展配置文件

Create database test;
gpexpand -f hosts_file -D test

內容如下：

2. 執行擴展配置

Gpssh -f new_host -e “mkdir -p 
/data/{primary1,primary2,primary3,primary4,primary5,
primary6,mirror1,mirror2,mirror3,mirror4,mirror5,mirror6}”
gpexpand -i gpexpand_inputfile_20200105_124630 -D test

[ gpadmin@master ~]$ gpexpand -f /gp/new_hosts -D test
Would you like to initiate a new System Expansion Yy|Nn (default=N): 你想開始一個新的系統擴展？
> y
What type of mirroring strategy would you like? 你使用什么類型的鏡像策略？
spread|grouped (default=grouped):
> spread
How many new primary segments per host do you want to add? (default=0): 你想添加多少新的節點每臺？
> 0
Enter new primary data directory 1: 新加primary節點的地址路徑
>
Enter new mirror data directory 1: 新加mirror節點 的地址路 徑
>

注意：要保證新增segment主機上的數據存儲路徑和原始segment主機上路徑名相同。

如果出問題：

將GP集群，啟動到master狀態 gpstart -m；
執行gpextend –rollback；
執行 gpstart -a。

3. 檢查新增SEGMENT主機信息是否寫入系統

執行SQL：

SELECT * FROM  GP_SEGMENT_CONFIGURATION;

4. 執行數據重分布

gpexpand -d 60:00:00 -a -n 8 -D test

注意：監控主機資源。

5. 監控數據沖分布進程

通過內置視圖：gp_expand.status、gp_expand.status_detaild、gp_expand. expansion_process，進行監控。

6. 移除擴展模式

在數據重分布完成后，及時將擴展模式移除：gpexpand -c -D test。

7. 查看重分布后集群狀態

gpstate -s

方案缺點

在重分布期間，業務無法訪問。在執行過程中，確保無活動的作業；
在數據重分布期間，分布進程因資源不足等情況意外宕機，此時集群無法正常提供服務，需要對數據重分布作業進行回滾；
在重分布過程，網絡負載較高，及時做好網絡隔離，避免影響其他業務；
由于本次集群數據量較大預估接近（85TB），整個作業完成耗時較久；
建議集群擴展節點之前，對數據進行備份，避免意外情況導致數據丟失。

本文作者：魏強（上海新炬王翦團隊）

本文來源：“IT那活兒”公眾號

GPU云服務器云服務器生產環境測試環境測試環境生產環境生產環境測試環境與生產環境區別

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129363.html

數據倉庫架構的變遷

摘要：前面我們簡單闡述了分布式數據庫的架構，并通過一條簡單的查詢語句解釋了分布式的執行計劃。引言第八屆中國架構師大會（SACC2016）10月27號到29號在北京萬達索菲特大飯店成功舉辦。大會以架構創新之路為主題，云集了國內外頂尖專家，共同探討云計算和大數據等技術背景下，如何通過架構創新及各種IT新技術來帶動企業轉型增效。作為一家專注于云端數據倉庫的初創公司，酷克數據受邀在SACC201...

Raaabbit 2019-07-25 12:34 評論0 收藏0
centos7.3下 greenplum-db 安裝、配置文檔

摘要：下安裝配置文檔一系統要求系統版本要求根據官方文檔支持以下幾種系統文件系統要求數據存儲目錄為文件系統二下安裝服務器列表主節點數據節點數據節點主節點切換備用節點修改系統配置項關閉關閉防火墻修改內核配置參數并執行使之生 centos7.3下 greenplum-db 安裝、配置文檔一.系統要求 1.系統版本要求:根據官方文檔： greenplumd-b支持以下幾種linux系統: ...

neuSnail 2019-07-25 12:35 評論0 收藏0
探索Greenplum的實踐，了解新一代大數據處理利器

摘要：上有主節點和從節點兩部分，兩者主要的功能是生成查詢計劃并派發，以及協調并行計算，同時在上保存著，這個全局目錄存著一組數據庫系統本身所具有的元數據的系統表。前言：近年來，互聯網的快速發展積累了海量大數據，而在這些大數據的處理上，不同技術棧所具備的性能也有所不同，如何快速有效地處理這些龐大的數據倉，成為很多運營者為之苦惱的問題！隨著Greenplum的異軍突起，以往大數據倉庫所面臨的很多...

supernavy 2019-08-23 12:03 評論0 收藏0
個推基于 Apache Pulsar 的優先級隊列方案

摘要：二基于的優先級隊列方案針對以上場景，個推基于設計了第一版的優先級隊列方案。架構在該方案中，個推將優先級統一設定為高中低三個級別。六總結現在個推針對優先級中間件的改造方案已經在部分現網業務中試運行，對于的穩定性，我們還在持續關注中。 showImg(https://segmentfault.com/img/remote/1460000018868129);作者：個推平臺研發工程師祥子 ...

bingchen 2019-07-24 10:53 評論0 收藏0