国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

配置CDH集群及服務(wù)

IT那活兒 / 3626人閱讀
配置CDH集群及服務(wù)

點擊上方“IT那活兒”公眾號，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！！！

CM安裝好以后可以進(jìn)入CM界面開始安裝CDH相關(guān)服務(wù)。

登錄Cloudera Manager 管理頁面

在chrome瀏覽器輸入：

http://主節(jié)點ip地址:7180,輸入用戶名admin，密碼admin進(jìn)入管理頁面。

選擇CDH版本

我們選擇免費版本：Cloudera Express版本

注意：

  • 選擇免費版 Cloudera Express；

  • 許可證選項打√；

  • CDH節(jié)點數(shù)設(shè)置為無限制；

  • 選擇核心功能和高級功能。

CDH集群選擇主機(jī)

  • 192.168.11.216
  • 192.168.11.217
  • 192.168.11.218

注意：

  • 除了獨立的deepinsight服務(wù)器（這里也不可見），其他主機(jī)都應(yīng)該加入；
  • 如果有特殊考慮，可以暫時不加入。

選擇存儲庫

注意：

  • 這里是指CDH及服務(wù)安裝包的來源；

  • 原則采用推薦方案：parcel、CDH5.14版本。

啟動安裝過程

注意：

  • 注意這個過程時間比較長，要耐心等待。

檢查主機(jī)正確性


/proc/sys/vm/swappiness 未設(shè)置為 0。當(dāng)前設(shè)置為 60，修改方法如下：
執(zhí)行 sysctl vm.swappiness = 0
在/etc/sysctl.conf文件中加入一行 vm.swappiness=0

修改透明最大頁面：

echo never> /sys/kernel/mm/transparent_hugepage/defrag
echo never> /sys/kernel/mm/transparent_hugepage/enabled

將此命令添加到一個init腳本中，比如 /etc/rc.local，以確保開機(jī)后能繼續(xù)生效。

選擇集群服務(wù)

選擇hdfs、yarn、zookeeper。

注意：

  • 開始只安裝hdfs、yarn、zookeeper，其余后面安裝。

自定義角色分配

注意：

  • 如果節(jié)點數(shù)大于3，SecondaryNameNode最好不好也NameNode放在同一節(jié)點；
  • 服務(wù)的分配參加華為FusionInsight HD產(chǎn)品手冊。

設(shè)置群集參數(shù)

NameNode數(shù)據(jù)目錄：/clusterdata/program/dfs/nn
HDFS檢查點目錄：/clusterdata/program/dfs/snn


注意：

  • hdfs選項中去掉hdfs檢查權(quán)限避免出現(xiàn)不能訪問hdfs的問題。

首次運行成功

關(guān)閉HDFS安全模式


hadoop dfsadmin -safemode leave

添加spark（Standalone)服務(wù)（可選）


注意：

  • 正常而言，我們安裝Spark2.x，不需要安裝Spark Standalone；
  • 如果資源不足，可以考慮安裝Standalone服務(wù)；
  • Spark服務(wù)安裝和前面添加yarn服務(wù)操作是一樣的。

本文作者：王 哲（上海新炬王翦團(tuán)隊）

本文來源：“IT那活兒”公眾號

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://specialneedsforspecialkids.com/yun/129411.html

相關(guān)文章

  • 什么是cdhkerberos

    　　在CDH集群中，Kerberos常用于為HDFS(Hadoop分布式文件系統(tǒng))、YARN(Yet Another Resource Negotiator)等Hadoop服務(wù)提供安全認(rèn)證。Kerberos 是一種網(wǎng)絡(luò)身份驗證協(xié)議，它使用密鑰加密來安全地驗證用戶和服務(wù)。使用 Kerberos，用戶必須先使用一組憑據(jù)(通常是用戶名和密碼)向 Hadoop 集群驗證自己的身份，然后才能訪問集群上的...

    白馬嘯西風(fēng) 評論0 收藏0

  • cdh價格-cdh商業(yè)版價格

    　　CDH是Cloudera公司發(fā)行的，本身是100%開源的平臺，簡單來說：CDH 是一個匯集集群自動化安裝、中心化管理、集群監(jiān)控、報警功能于一體的一個工具，這樣的話可以使得集群的安裝可以從幾天的時間縮短為幾個小時，運維人數(shù)也會得到相應(yīng)的減少，可以極大的提高集群管理的效率。　　本來是開源免費的，但是從2019 年忽然宣布宣布,所有的 Cloudera 產(chǎn)品版本必須要付費訂閱了，并且從2021年...

    白馬嘯西風(fēng) 評論0 收藏0

  • docker安裝cdh

    　　Docker是一個開源容器引擎，可以輕松地在任何地方打包，運行和分發(fā)應(yīng)用程序.　　在Docker上安裝CDH有以下幾個步驟：　　安裝Docker: 在你的操作系統(tǒng)上安裝Docker。如果你還沒有安裝Docker，請參考Docker官方文檔來安裝Docker。　　下載CDH鏡像: 使用以下命令下載CDH鏡像：　　Copy codedocker pull cloudera/quickstart:l...

    白馬嘯西風(fēng) 評論0 收藏0

發(fā)表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<