資訊專欄INFORMATION COLUMN
摘要：也可以將托管集群設置為快捷方式，通過左側快捷方式菜單欄點擊進入。框架集群中僅部署。用于做存儲集群，有專屬的節點機型。節點管理節點，負責協調整個集群服務。目前僅節點支持綁定。通過云主機內網進行登錄。登錄密碼為集群創建時設置的密碼。
本文檔將帶領您如何創建UHadoop集群，并使用UHadoop集群完成數據處理任務。
本章簡單介紹了用戶使用UHadoop服務時如何快速創建集群，如已創建完畢，請跳至第二章查看如何提交任務。
1、進入產品頁面在“全部產品”菜單中點擊“托管Hadoop集群 UHadoop”進入產品頁面。
也可以將“托管Hadoop集群 UHadoop”設置為快捷方式，通過左側快捷方式菜單欄點擊進入。
2、點擊【創建集群】按鈕3、按需配置【基本設置】4、軟件設置VPC和子網信息必填。詳情參考私有網絡VPC。
該模塊提供集群軟件、集群框架的選擇。
集群框架：
根據應用場景的不同，可選擇不同的集群框架。
Hadoop框架 集群中同時部署HDFS和YARN，適用于存儲和計算在同一集群。
HDFS框架 集群中僅部署HDFS。用于做存儲集群，有專屬的HDFS節點機型。
計算框架 不部署HDFS，僅部署YARN。
HDFS框架和計算框架適用于存儲計算分離架構。HDFS集群可作為多個獨立計算集群的存儲集群。 計算集群和存儲集群（Hadoop框架、HDFS框架）的關系是多對一。可以在集群詳情頁看到已經聯通的集群。
創建計算集群前需要您已有HDFS集群或Hadoop框架的集群。選擇計算集群后，必須要指定【集群存儲】，即指定計算集群讀寫數據的位置。
發行版：
發行版命名方式：uhadoop [ 版本號 ]
每個發行版中有多個大數據生態軟件，如HBase、Spark、Hive等。
框架版本：
集群中 Hadoop 的版本，不同發行版的框架版本不同。
集群種類：
不同種類代表集群會安裝不同的集群軟件。未在此處選擇的軟件，也可在集群創建完成后，通過集群管理添加。
5、節點設置節點配額總量 最多可創建的節點數量。如需更大配額，可聯系客戶經理或技術支持申請開通。
Master節點 管理節點，負責協調整個集群服務。一個集群中有且僅有兩個管理節點，一主一備，保證高可用。 除了基礎服務（如Hadoop、Hive、HBase）的管理端部署在Master上外，一些插件（如Hue、Oozie、Sqoop2、Airflow）也會安裝于Master節點上，因此，如若安裝大量插件服務，Master節點配置建議高于C1-2xlarge。
Core節點 核心節點，用于存儲數據（HDFS）與運行任務。由于核心節點用于存儲數據，因此數量須大于等于2（默認集群文件副本數配置為3），您可以根據業務需求添加更多的核心節點。
Task節點 任務節點，用于執行任務。任務節點不存儲數據，您可以在集群運行期間動態進行添加和刪除。
不同磁盤類型配置選擇建議 第一參考是數據量，數據量按照您需求的業務數據量*3計算（HDFS默認將文件存儲3份拷貝，來保證高可用）。 若數據量超過6T后，推薦使用密集存儲系列節點（密集存儲系列采用SATA硬盤，更適合海量數據的存儲）。 若對磁盤性能和存儲量都有需求，可使用物理機。
不同CPU、MEM機型的選擇 CPU、MEM的選擇可按照計算復雜度與數據讀寫的頻度，如果計算不是很復雜，小配置即可，如果復雜度較高，建議4核以上機型。 Spark對內存需求較大，建議選擇12G MEM以上的機型。
6、訪問設置了解各節點配置詳情，請參考產品價格。
填充節點root密碼。
7、等待集群部署根據集群規模不同，所需要的部署時間會有所差異，創建時間基本在15分鐘左右。
在集群創建成功后，點擊集群管理，進入集群節點詳情頁面。
2、登錄集群
通過控制臺登錄。
綁定外網eip，本地可通過外網ssh連接登錄。目前僅master節點支持綁定。
Eip使用詳情請見EIP說明文檔。
本例中可通過`ssh root@106.75.135.10 -p22`進行登錄。
通過云主機（uhost）內網ssh進行登錄。
本例中可在云主機上通過`ssh root@10.13.186.23 -p22`進行登錄。
3、任務提交登錄密碼為集群創建時設置的密碼。
利用hadoop命令查看hdfs目錄信息
創建目錄，并上傳測試數據
[root@uhadoop-******-master1 ~]# hadoop fs -mkdir /input
[root@uhadoop-******-master1 ~]# hadoop fs -put /home/hadoop/conf/* /input執行WordCount任務
[root@uhadoop-******-master1 ~]# hadoop jar /home/hadoop/hadoop-examples.jar wordcount /input /output如果/output目錄已存在，請刪除該目錄或使用其他目錄。
查看wordcount任務的結果
[root@uhadoop-******-master1 ~]# hadoop fs -cat /output/part-r-00000
!= 3
"" 6
"". 4
"$HADOOP_CLASSPATH" 1
"$JAVA_HOME" 2
"$YARN_HEAPSIZE" 1
"$YARN_LOGFILE" 1
"$YARN_LOG_DIR" 1
"$YARN_POLICYFILE" 1
"*" 17
...若集群安裝了spark服務，可提交spark任務
spark-submit --master yarn --deploy-mode client --num-executors 1 --executor-cores 1 --executor-memory 1G $SPARK_HOME/examples/src/main/python/pi.py 100屏幕信息中會打印任務執行結果：
Pi is roughly 3.141313更多使用內容，請參考 UHadoop開發指南
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/127035.html
摘要：集群運行慢時，通常會在日志中可以查找到明顯的異常，或者花費時間長的操作。檢查集群節點的運行狀態檢查集群節點的運行狀態管理群集上部署的各種服務。如果主節點遇到性能問題，整個群集都會受到影響。工作的不均衡分配可能會導致處理速度較慢。 故障排查本篇目錄任務執行失敗排查工具故障描述集群運行速度慢任務執行失敗1.查看console輸出日志查看任務執行時控制臺輸出的log，檢查是否有ERROR2.查看任...
摘要：架構架構元數據管理元數據管理元數據管理創建集群時可在控制臺開啟元數據獨立管理。若項目中已開啟過元數據獨立管理，則新集群開啟該功能時，不再創建新的，而是將新集群的元數據存儲于已有的中。 元數據管理本篇目錄介紹產品架構元數據管理介紹UHadoop 支持將 Hive-Metastore 的數據庫獨立于 Hadoop 集群部署，也支持多個集群訪問同一個 Hive 元數據庫，可在控制臺對其做管理。產品...
摘要：查看上的歷史日志查看上的歷史日志任務的日志在任務運行結束之后會上傳到上，當日志文件過大無法通過來查看時，可以通過將日志文件從上下載下來查看。掛載在允許的主機上執行 常用操作本篇目錄應用的Web接口查看日志配置NFS掛載hdfs到本地應用的Web接口Hadoop 提供了基于 Web 的用戶界面，可通過它查看您的 Hadoop 集群。Web 服務會在主節點上運行（Active NameNode或...
摘要：產品價格產品價格產品價格托管集群價格根據節點類型及配置不同，北京上海廣州香港可用區詳細價格如下，其他可用區價格請咨詢技術支持。 產品價格托管 Hadoop 集群價格根據節點類型及配置不同 ，北京、上海、廣州、香港可用區詳細價格如下，其他可用區價格請咨詢技術支持。 節點類型機型名稱CPU內存(G)硬盤(G)華北一E價格(元/月)國內其他可用區價格（元/月）Master&?Task?計算優化實例...
摘要：創建任務創建任務選擇這個標簽拖動到中。頁面權限控制頁面權限控制頁面權限控制點擊管理用戶組選擇要修改的組名稱，設置相應權限并保存 Hue開發指南本篇目錄1. 配置工作流2. Hue頁面權限控制Hue是面向 Hadoop 的開源用戶界面，可以讓您更輕松地運行和開發 Hive 查詢、管理 HDFS 中的文件、運行和開發 Pig 腳本以及管理表。服務默認已經啟動，用戶只需要配置外網IP，在防火墻中配...
閱讀 284·2024-11-07 18:25
閱讀 130363·2024-02-01 10:43
閱讀 868·2024-01-31 14:58
閱讀 828·2024-01-31 14:54
閱讀 82766·2024-01-29 17:11
閱讀 3047·2024-01-25 14:55
閱讀 1985·2023-06-02 13:36
閱讀 3033·2023-05-23 10:26
