集群創(chuàng)建智能大數(shù)據(jù)平臺(tái) USDP

ernest.wang 發(fā)布于2022-07-12 17:23 / 3893人閱讀

摘要：點(diǎn)擊創(chuàng)建集群按鈕開始創(chuàng)建集群資源點(diǎn)擊創(chuàng)建集群按鈕開始創(chuàng)建集群資源創(chuàng)建集群創(chuàng)建集群設(shè)置地域和可用區(qū)信息設(shè)置地域和可用區(qū)信息請(qǐng)根據(jù)您的需要，在創(chuàng)建集群向?qū)е性O(shè)置新集群所歸屬的地域及可用區(qū)信息。

集群創(chuàng)建

本篇目錄

開始創(chuàng)建集群資源開始部署集群服務(wù)和組件

智能大數(shù)據(jù)平臺(tái)USDP集群的創(chuàng)建過程，分為兩個(gè)部分，即在公有云控制臺(tái)中，創(chuàng)建USDP的集群資源，待創(chuàng)建完成后，進(jìn)入您獨(dú)享的USDP管理服務(wù)開始規(guī)劃并創(chuàng)建大數(shù)據(jù)集群。

通過本篇指南，您可以了解到：

開始創(chuàng)建集群資源開始部署集群服務(wù)和組件

參考本篇指南，開始創(chuàng)建并部署您的第一個(gè)USDP集群吧。

開始創(chuàng)建集群資源

登陸UCloud云控制臺(tái)。

1 進(jìn)入產(chǎn)品頁面

進(jìn)入公有云控制臺(tái)首頁后，點(diǎn)擊左上角“全部產(chǎn)品”，在“數(shù)據(jù)分析”類目中點(diǎn)擊“智能大數(shù)據(jù)平臺(tái)USDP”，進(jìn)入U(xiǎn)SDP集群管理頁面。

ucloud_console_usdp

2 點(diǎn)擊 創(chuàng)建集群 按鈕開始創(chuàng)建USDP集群資源

3 設(shè)置地域和可用區(qū)信息

請(qǐng)根據(jù)您的需要，在創(chuàng)建集群向?qū)е性O(shè)置新集群所歸屬的地域及可用區(qū)信息。

4 集群和軟件設(shè)置

在此模塊需要您設(shè)置并完善新集群所屬VPC和子網(wǎng)信息、集群名稱填寫、框架及版本信息。

集群名稱也是高可用NameNode的Namespace名稱，需要字母和數(shù)字的組合，首位必須是字母

5 節(jié)點(diǎn)設(shè)置

Master節(jié)點(diǎn)

管理節(jié)點(diǎn)，主要適合用于部署zookeeper、Journalnode、NameNode、Resourcemanager、Hmaster、Hive等管理服務(wù)，可視化組件如Hue、oozie也建議部署在Master節(jié)點(diǎn)上。

core節(jié)點(diǎn)

核心節(jié)點(diǎn)，適合用于存儲(chǔ)數(shù)據(jù)（HDFS）與運(yùn)行任務(wù)。建議部署datanode、nodemanager、regionserver等服務(wù)。

Task節(jié)點(diǎn)

適合用于補(bǔ)充計(jì)算資源，建議只部署Nodemanager

Monitor節(jié)點(diǎn)

適合用于部署AlterManager、Grafana、InfluxDB、NodeExporter、Prometheus、USDPMonitor等監(jiān)控服務(wù)

6 訪問設(shè)置

在此處填寫該集群資源的所有節(jié)點(diǎn)root用戶統(tǒng)一的密碼。

7 等待集群部署

根據(jù)集群節(jié)點(diǎn)資源規(guī)模不同，可能需要的部署時(shí)間會(huì)有所差異，一般情況下，創(chuàng)建大約會(huì)在30分鐘左右完成。如下圖所示，狀態(tài)為正在部署中。

當(dāng)狀態(tài)處于“運(yùn)行”狀態(tài)的時(shí)，即可點(diǎn)擊 訪問USDP 按鈕，進(jìn)入U(xiǎn)SDP管理頁面進(jìn)行集群服務(wù)規(guī)劃及部署操作。

開始部署集群服務(wù)和組件

使用USDP管理控制臺(tái)部署服務(wù)

在已創(chuàng)建的USDP集群條目右側(cè)，點(diǎn)擊 訪問USDP 按鈕，進(jìn)入U(xiǎn)SDP自有管理控制臺(tái)。

node_ucloud_usdp_console_entrance

1 進(jìn)入登錄頁面登錄到USDP管理控制臺(tái)

第一次登錄需要設(shè)置admin用戶名的登錄密碼。如下所示：

2 添加服務(wù)和組件

在右上角“當(dāng)前集群”右側(cè)點(diǎn)擊集群名稱，點(diǎn)擊選擇"添加服務(wù)或組件"，開始部署集群服務(wù)。

3 選擇服務(wù)

USDP支持大數(shù)據(jù)生態(tài)服務(wù)較多，在集群安裝時(shí)，用戶根據(jù)業(yè)務(wù)需要，靈活選擇所需安裝的組件。

您可以在“服務(wù)組合方案”出從推薦方案ABC中進(jìn)行選擇，或“自定義”您需要的服務(wù)，其中“監(jiān)控”服務(wù)是默認(rèn)必須選擇的，您無法取消。如下圖所示：

4 選擇組件安裝

大數(shù)據(jù)生態(tài)各服務(wù)，均由不同的組件構(gòu)成，安裝集群時(shí)，用戶可根據(jù)業(yè)務(wù)需求規(guī)劃，將不同的服務(wù)及組件分別都安裝到集群的那些節(jié)點(diǎn)上。

若用戶選擇安裝的服務(wù)較多或如上圖中用戶選擇推薦方案A（全量部署方案），由于組件選項(xiàng)非常多，建議采用“智能推薦”的方式進(jìn)行選擇，或者在“智能推薦”的基礎(chǔ)上進(jìn)行修改。如下圖所示：

以下，USDP建議，請(qǐng)您參考： NameNode建議安裝在usdp-xxx-masster的節(jié)點(diǎn)上，否則NameNode出現(xiàn)異常時(shí)，主從切換會(huì)失敗。節(jié)點(diǎn)名稱為usdp-xxx-masster的節(jié)點(diǎn)，建議用于部署zookeeper、Journalnode、NameNode、Resourcemanager、Hmaster、Hive等服務(wù)和組件的master節(jié)點(diǎn)，可視化和調(diào)度組件如Hue、oozie、kibana、zkui也建議部署在Master節(jié)點(diǎn)上。節(jié)點(diǎn)名稱usdp-xxx-core核心節(jié)點(diǎn)，建議用于存儲(chǔ)數(shù)據(jù)（HDFS）與運(yùn)行任務(wù)。建議部署datanode、nodemanager、regionserver、presto work、impala。節(jié)點(diǎn)名稱usdp-xxx-task的節(jié)點(diǎn)，建議用于部署計(jì)算資源，建議用來部署Nodemanager、Client。節(jié)點(diǎn)名稱usdp-xxx-monitor的節(jié)點(diǎn)，建議用于部署AlterManager、Grafana、InfluxDB、NodeExporter、Prometheus、USDPMonitor等監(jiān)控服務(wù)。

您也可根據(jù)您的需要，進(jìn)行靈活規(guī)劃并實(shí)時(shí)部署。

5 服務(wù)配置

USDP默認(rèn)將自身管理元信息、集群中大數(shù)據(jù)服務(wù)的相關(guān)元信息，統(tǒng)一配置至Master1節(jié)點(diǎn)的MySQL數(shù)據(jù)庫中，默認(rèn)開啟“元信息數(shù)據(jù)庫統(tǒng)一配置”、默認(rèn)填充該MySQL的相關(guān)連接信息，點(diǎn)擊 測(cè)試連接 按鈕即可測(cè)試是否正常，如下圖所示：

元信息數(shù)據(jù)庫配置涉及的服務(wù)有：HIVE、HUE、OOZIE、RANGER、UDS等五個(gè)服務(wù)。 MySQL版本：5.7.30

在此，請(qǐng)?zhí)顚懫渌嚓P(guān)服務(wù)的配置信息，其中“ELASTICSEARCH”、“HDFS”、“KAFKA”、“KUDU”等相關(guān)數(shù)據(jù)存儲(chǔ)目錄信息。如下圖所示：

“UDS”郵件服務(wù)器配置信息，可默認(rèn)不填，并在集群安裝完成后進(jìn)入U(xiǎn)SDP控制臺(tái)后，即可進(jìn)入向?qū)А跋乱徊健薄?/p>

元信息數(shù)據(jù)庫獨(dú)立配置

若用戶計(jì)劃將“HIVE”、“HUE”、“OOZIE”、“RANGER”、“UDS”等服務(wù)的元信息數(shù)據(jù)庫獨(dú)立管理，此時(shí)，可點(diǎn)擊取消 “元信息數(shù)據(jù)庫統(tǒng)一配置” 右側(cè)的滑塊，同時(shí)，下方頁面即會(huì)顯示這些服務(wù)所需的數(shù)據(jù)庫連接填寫的表單，按要求填寫，并分別點(diǎn)擊下方的 測(cè)試連接 按鈕，按鈕變?yōu)榫G色，即為測(cè)試連接成功。此后，即可進(jìn)入向?qū)乱徊街小Ｈ缦聢D所示：

6 部署信息總覽

至此，為您總覽以上向?qū)Р襟E中完成的所有選擇及配置信息匯總展示，請(qǐng)確認(rèn)無誤后點(diǎn)擊“開始部署”按鈕開始集群的服務(wù)組件部署工作。如下圖所示：

7 安裝并啟動(dòng)服務(wù)

當(dāng)服務(wù)安裝發(fā)生錯(cuò)誤時(shí)，您可以點(diǎn)擊查看報(bào)錯(cuò)節(jié)點(diǎn)“失敗”詳情，參考詳情提示信息，進(jìn)行手動(dòng)修復(fù)錯(cuò)誤操作，之后點(diǎn)擊“全部重試”按鈕，重新進(jìn)行服務(wù)組件部署工作。