国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

Linux環境下Greenplum數據庫安裝與維護

IT那活兒 / 782人閱讀
Linux環境下Greenplum數據庫安裝與維護
一. greenplum簡介

GreenPlum（本文簡稱gp）是面向數據倉庫應用的關系型數據庫，GreenPlum的主要特點是查詢速度快、數據裝載速度快、批量DML處理快、性能可以隨著硬件的添加呈線性增加、擁有非常良好的課擴展性。GreenPlum基于PostgreSQL開發，跟PostgreSQL的兼容性非常好，大部分PostgreSQL客戶端工具及PostgreSQL應用都能運行在GreenPlum平臺上。想要學習GreenPlum，可以先看一看PostgreSQL的資料。本文主要簡述在CentOS 7.6安裝Greenplum（5.10.2）的主要步驟。


二. 安裝前的準備工作

1. 修改內核參數

sysctl命令被用于在內核運行時動態地修改內核的運行參數，可用的內核參數在目錄/proc/sys中。它包含一些TCP/IP堆棧和虛擬內存系統的高級選項， 這可以讓有經驗的管理員提高引人注目的系統性能。用sysctl可以讀取設置超過五百個系統變量。以下為/etc/sysctl.conf的推薦配置，供參考：

kernel.shmmax = 500000000
kernel.shmmni = 4096
kernel.shmall = 4000000000
kernel.sem = 250 512000 100 2048
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
vm.overcommit_memory = 2

Linux資源限制配置文件是/etc/security/limits.conf；限制用戶進程的數量對于linux系統的穩定性非常重要。limits.conf文件限制著用戶可以使用的最大文件數，最大線程，最大內存等資源使用量。以下為limits.conf的推薦設置，供大家參考：

 *  soft nofile  65536 
 *  hard nofile  65536 
 *  soft nproc  131072
 *  hard nproc  131072

2. 創建gpadmin用戶

gp 的安裝部署均在gpadmin用戶下進行操作，所以在root 用戶下執行用戶創建命令：

·useradd gpadmin   #添加gpadmin用戶
passwd gpadmin   #給gpadmin用戶設置密碼

三. 安裝步驟

1) 上傳安裝包并安裝Greenplum

本例用的是greenplum-db-5.10.2-rhel7-x86_64.rpm安裝包，先上傳至服務器，新建數據庫安裝目錄：/home/greenplum，執行以下rpm安裝命令，安裝后的目錄為：/home/greenplum/greenplum-db，切換到用戶gpadmin(su - gpadmin )，后續的命令都在該用戶下執行。下面用rpm命令初始化安裝：

rpm -ivh  --prefix=/home/greenplum   greenplum-db-5.10.2-rhel7-x86_64.rpm

2) 修改參數配置

在/home/greenplum/greenplum-db 中 新建并寫入文件seg_hosts和hostlist， 寫入內容為主機名bigdata-01，主機名可以通過執行hostname獲得

3) 使用gpssh-exkeys將所有機器通道打開

執行以下命令：

cd /home/greenplum/greenplum-db
./bin/gpssh-exkeys  -f   ./hostlist

4) 新建數據目錄

首先進入安裝目錄

cd  /home/greenplum/greenplum-db

創建數據存放目錄

mkdir gpdata
cd  /home/greenplum/greenplum-db/gpdata
mkdir  gpmaster gpdatap1  gpdatap2  gpdatam1  gpdatam2

將 ~/greenplum-db/docs/cli_help/gpconfigs/gpinitsystem_config拷貝為~/greenplum-db/initgp_config，執行以下命令：

cp  /home/greenplum/greenplum-db/docs/cli_help/gpconfigs/gpinitsystem_config  /home/greenplum/greenplum-db/initgp_config

5) 環境變量設置

修改~/.bashrc，  注意當前操作用戶為gpadmin，在 /home/gpadmin 下執行：vi .bashrc，在文件中添加：

source   /home/greenplum/greenplum-db/greenplum_path.sh
export   LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/greenplum/greenplum-db/lib
export   GPHOME=/home/greenplum/greenplum-db
export   MASTER_DATA_DIRECTORY=/home/greenplum/greenplum-db/gpdata/gpmaster/gpseg-1
然后令其生效：source  .bashrc

6) 創建初始化文件

新建一個initgp_config文件作為gp的初始化配置文件，文件目錄可以為greenplum-db目錄，文件中的主要配置如下，供參考：

declare -a DATA_DIRECTORY=(/home/greenplum/greenplum-db/gpdata/gpdatap1  /home/greenplum/greenplum-db/gpdata/gpdatap2)

MASTER_HOSTNAME=bigdata-01
MASTER_DIRECTORY=/home/greenplum/greenplum-db/gpdata/gpmaster
ENCODING=utf-8
declare -a MIRROR_DATA_DIRECTORY=(/home/greenplum/greenplum-db/gpdata/gpdatam1  /home/greenplum/greenplum-db/gpdata/gpdatam2)
MACHINE_LIST_FILE=/home/greenplum/greenplum-db/seg_hosts

紅字為需要修改及特別留意的配置項

7) 運行數據庫

/home/greenplum/greenplum-db/bin/gpseginstall -f  /home/greenplum/greenplum-db/hostlist -u  gpadmin  -p  前面設置的密碼

執行完后繼續執行：

/home/greenplum/greenplum-db/bin/gpinitsystem -c   /home/greenplum/greenplum-db/initgp_config 

當顯示的結果中有，“Greenplum Database instance successfully created”即安裝成功，

可以使用psql -p 2345 -d postgres進行訪問。


四. 日常維護命令

以下是gp數據庫啟動、停止、查看服務狀態、查詢進程等相關命令：

su – gpadmin   #進入gpadmin用戶
gpstart         #啟動服務
gpstop -M fast  #快速停止服務
gpstate -s      # 查看狀態
ps -ef|grep Greenplum # 查看數據庫進程

備份數據腳本如下：
pg_dump -U user  database -t tablename -f dump.sql 

導入數據腳本如下：
createdb -U user database  #如果沒有用戶首先創建用戶
psql -U user -d database -f dump.sql 


五. gp無法遠程訪問解決方案

如果發現無法通過IP去訪問數據庫，則可能該數據庫默認只能通過本地連接，也就是回環地址(127.0.0.1)，可以修改安裝目錄下的datapg_hba.conf,在配置文件最后有IPV4和IPV6的配置,新增一行(這里我用的IPV4,開放所有IP)，具體配置可以參考下圖：

0.0.0.0/0 表示全部IP地址都合法,合法的IP地址即可


六. 總結

關于Greenplum集群安裝部署的教程很多，數據庫的編譯安裝可以參照gp的Github官網教程, 系統的前期配置和完整教程可參考教程，該教程成功率較高。由于Greenplum的版本不斷在更新，按照原來眾多博主寫的教程安裝還是會踩很多坑，本文總結此次安裝Greenplum所踩過的坑及解決方案，希望對大家有所幫助。

Greenplum安裝主要是一些細節不注意的問題，遇到報錯，認真讀報錯信息，缺依賴裝依賴，版本過低就升級，重要的是細心就行。


END


更多精彩干貨分享

點擊下方名片關注

IT那活兒

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129808.html

相關文章

  • centos7.3下 greenplum-db 安裝、配置文檔

    摘要：下安裝配置文檔一系統要求系統版本要求根據官方文檔支持以下幾種系統文件系統要求數據存儲目錄為文件系統二下安裝服務器列表主節點數據節點數據節點主節點切換備用節點修改系統配置項關閉關閉防火墻修改內核配置參數并執行使之生 centos7.3下 greenplum-db 安裝、配置文檔 一.系統要求 1.系統版本要求:根據官方文檔： greenplumd-b支持以下幾種linux系統: ...

    neuSnail 評論0 收藏0

  • 構建可擴展的PostgreSQL解決方案

    摘要：這可以通過負載平衡來實現數據分片當問題不是并發查詢的數量，而是數據庫的大小和單個查詢的速度時，可以實現不同的方法。 showImg(https://segmentfault.com/img/remote/1460000018875091); 來源 | 愿碼(ChainDesk.CN)內容編輯 愿碼Slogan | 連接每個程序員的故事 網站 | http://chaindesk.cn...

    jonh_felix 評論0 收藏0

  • 構建可擴展的PostgreSQL解決方案

    摘要：這可以通過負載平衡來實現數據分片當問題不是并發查詢的數量，而是數據庫的大小和單個查詢的速度時，可以實現不同的方法。 showImg(https://segmentfault.com/img/remote/1460000018875091); 來源 | 愿碼(ChainDesk.CN)內容編輯 愿碼Slogan | 連接每個程序員的故事 網站 | http://chaindesk.cn...

    FrozenMap 評論0 收藏0

發表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<