動態拓展flink集群計算節點

IT那活兒發布于2023-01-11 13:19 / 1523人閱讀

動態拓展flink集群計算節點

點擊上方“IT那活兒”公眾號，關注后了解更多內容，不管IT什么活兒，干就完了！！！

近期由于flink集群的CPU總核數限制，flink集群已經沒有看可用的slot資源，無法繼續在集群上新增flink任務，所以需要橫向拓展flink集群的計算節點。

目前flink的部署模式是flink on yarn，所以只用動態拓展現有的hadoop集群的數據節點即可。

設置主機環境

#修改主機名稱

hostnamectl set-hostname ***

#修改用戶環境變量

# for hadoop
export HADOOP_HOME=/home/shsnc/domp-product/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export YARN_CONF_DIR=$HADOOP_CONF_DIR
export HADOOP_CLASSPATH=`hadoop classpath`

設置完成后:

#重新加載用戶環境配置文件:

source .bash_profile

修改所有主機的/etc/hosts文件,加入新加入機器的IP和主機名，新加入主機的/etc/hosts文件中加入所有主機的IP和主機名.

配置免密登錄

此處不做額外說明.

安裝并配置hadoop

#修改hadoop的slaves配置，添加所有的主機節點IP地址.

vi /home/shsnc/domp-product/hadoop/etc/hadoop/slaves

#在現有的hadoop集群上，將hadoop打包，并排除數據目錄和日志目錄.

tar -Pczvf /home/shsnc/domp-product.tar.gz /home/shsnc/domp-
product/* --exclude=/home/shsnc/domp-product/hadoop/data --
exclude=/home/shsnc/domp-product/hadoop/logs

#利用scp將打包后的文件傳輸到即將加入集群的主機中.

scp domp-product.tar.gz ***@***:./domp-product/

#到目標服務器中解壓文件.

tar -xzvf domp-product.tar.gz

至此完成hadoop組件的安裝，接下來需要修改配置文件:

1) 修改core-site.xml

<property>
<name>fs.default.namename>
<value>hdfs://主節點主機名:服務端口value>
property>

2) 修改yarn-site.xml

<property>
<name>yarn.timeline-service.hostnamename>
<value>主節點主機名value>
property>
<property>
<name>yarn.log.server.urlname>
<value>http://主節點主機名:服務端口/jobhistory/logs/value>
property>
<property>
<name>yarn.resourcemanager.webapp.addressname>
<value>主節點主機名:服務端口value>
property>
<property>
<name>yarn.nodemanager.addressname>
<value>當前節點主機名:服務端口value>
property>

啟動新節點上的datanode和nodemanager服務

#啟動服務:

./hadoop-deamon.sh start datanode
./yarn-deamon.sh start nodemanager

啟動datanode時，可能報錯VERSION版本不對，需要修改新增節點的VERSION.

vi /home/shsnc/domp-product/hadoop/data/hdfs/datanode/current/VERSION

將VERSION文件中的clusterID修改為和原集群一樣后，重啟datanode.

刷新并調整集群狀態

#刷新數據節點，將新節點加載到集群中:

hadoop/bin/hdfs refreshNodes

#查看節點數量，節點數量從5變為8，證明節點已經納入集群中.

hdfs fsck /

#平衡節點數據:

start-balancer.sh

#查看所有節點信息:

hdfs dfsadmin -report

以上就完成了整個集群的動態拓展！

本文作者：胡京康（上海新炬王翦團隊）

本文來源：“IT那活兒”公眾號

GPU云服務器云服務器云計算服務器集群動態智能擴展阿里云雙11實時計算 Flink組團優惠阿里云雙11實時計算 Flink有折扣嗎集群節點的啟動內存

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129304.html

Flink 靈魂兩百問，這誰頂得住？

摘要：由于配置流是從關系型數據庫中讀取，速度較慢，導致實時數據流流入數據的時候，配置信息還未發送，這樣會導致有些實時數據讀取不到配置信息。從數據庫中解析出來，再去統計近兩周占比。 Flink 學習 https://github.com/zhisheng17/flink-learning 麻煩路過的各位親給這個項目點個 star，太不易了，寫了這么多，算是對我堅持下來的一種鼓勵吧！ showI...

Guakin_Huang 2019-08-19 10:11 評論0 收藏0
Flink 全網最全資源（視頻、博客、PPT、入門、實戰、源碼解析、問答等持續更新）

摘要：由于配置流是從關系型數據庫中讀取，速度較慢，導致實時數據流流入數據的時候，配置信息還未發送，這樣會導致有些實時數據讀取不到配置信息。從數據庫中解析出來，再去統計近兩周占比。 showImg(https://segmentfault.com/img/remote/1460000019367651); Flink 學習項目代碼 https://github.com/zhisheng17/f...

Dr_Noooo 2019-08-16 17:50 評論0 收藏0
UCloud一站式智能大數據平臺USDP免費版正式發布！

摘要：企業微信截圖企業微信截圖兼容最廣的一站式智能大數據平臺涵蓋了等眾多開源大數據組件，支持對這些組件進行運維中臺建設數據開發業務可視化等全棧式大數據開發運維管理。通過一站式智能大數據平臺支持的等分布式運算框架，可以高效的進行機器學習應用開發。背景在大數據業務系統中，所有技術棧生態均是圍繞著存儲進行擴展的，目前開源的主流存儲技術棧主要包含如下 3 種類型：· HDFS：Hadoop 系列套件，包含...

Tecode 2022-06-28 19:00 評論0 收藏0
UCloud發布一站式智能大數據平臺USDP免費版附USDP資源下載地址

摘要：機器學習機器學習通過算法對大量數據進行分析，挖掘出其中蘊含的規律，并用于事物預測或者分類，有大量的計算需求。通過一站式智能大數據平臺支持的等分布式運算框架，可以高效的進行機器學習應用開發。在大數據業務系統中，所有技術棧生態均是圍繞著存儲進行擴展的，目前開源的主流存儲技術棧主要包含如下 3 種類型：· HDFS：Hadoop 系列套件，包含 Hive、Hbase、Phoenix 等；· Ela...

Tecode 2022-06-28 19:00 評論0 收藏0
《從0到1學習Flink》—— Apache Flink 介紹

摘要：擴展庫還包括用于復雜事件處理，機器學習，圖形處理和兼容性的專用代碼庫。事件時間機制使得那些事件無序到達甚至延遲到達的數據流能夠計算出精確的結果。負責接受用戶的程序代碼，然后創建數據流，將數據流提交給以便進一步執行。 showImg(https://segmentfault.com/img/remote/1460000016902812); 前言 Flink 是一種流式計算框架，為什么我...

flyer_dev 2019-08-16 13:36 評論0 收藏0