資訊專欄INFORMATION COLUMN
摘要：集群運行慢時，通常會在日志中可以查找到明顯的異常，或者花費時間長的操作。檢查集群節點的運行狀態檢查集群節點的運行狀態管理群集上部署的各種服務。如果主節點遇到性能問題，整個群集都會受到影響。工作的不均衡分配可能會導致處理速度較慢。
查看任務執行時控制臺輸出的log，檢查是否有ERROR
2.查看任務執行日志若任務為后臺執行或定時任務，首先需要知道失敗的任務ID，可通過獲取日志詳情分析日志報錯（查詢日志方法可見日志查看）
Tips: 常見任務失敗ERROR可參考常見任務ERROR
- 在集群的“監控視圖”頁面查看集群或者節點的監控數據，判斷是否有異常。
2.查看服務日志- 各個節點上的/var/log下面有各個服務的日志 - 通過web-yarn的頁面或者hue可以查看到任務運行的日志情況
在向技術支持提交故障時，可以在提交信息中附帶以下內容以便快速定位故障：
- 群集的標識符 - 啟動群集的區域和可用區 - 如何操作會出現這個異常 - 異常的現象的具體描述
2.檢查集群的配置修改- 上一次正確運行的配置和環境變量是否有做修改。
3.檢查日志通常提交的任務可以在hadoop-yarn的界面可以看到，如無法查看任務通常有以下幾種情況：
- spark任務用本地模式提交 - hive任務用本地提交（hive-server2默認會將一些小任務用本地模式跑）
- 檢查任務日志，如果一個或多個失敗任務，請調查對應的任務嘗試的日志，以了解更詳細的錯誤信息。 - 檢查服務日志，在每個節點的/var/log目錄下，每個服務都有各自的存檔目錄。集群運行慢時，通常會在日志中可以查找到明顯的異常，或者花費時間長的操作。
3. 檢查集群節點的運行狀態- master：管理群集上部署的各種服務。如果主節點遇到性能問題，整個群集都會受到影響。 - core：處理 map-reduce 任務,保持 Hadoop 分布式文件系統 (HDFS),hbase的regionserver。 - task：處理 map-reduce 任務。這些純粹是計算資源，并不存儲數據。您可以向群集添加任務節點，提高性能速度，或移除不需要的任務節點。
4. 檢查輸入數據注解：在task節點運行的任務會通過網絡從core節點上獲取數據，所以在某些情況下增加task節點并不能夠縮短任務的運行時間。
- 請查看您的輸入數據。它是否在鍵值之間均勻分配？ 如果您的數據嚴重偏向一個或幾個鍵值，那么可能將處理負載映射到少量節點，而其他節點則閑置。工作的不均衡分配可能會導致處理速度較慢。 - 不平衡數據集的示例是，依據按字母順序排列的詞運行群集，但有一個數據集僅包含以字母“a”開始的詞。當工作被映射時，以“a”開始的節點處理值會過量，而以其他字母開始的節點處理詞會處于閑置狀態。
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/127198.html
摘要：也可以將托管集群設置為快捷方式，通過左側快捷方式菜單欄點擊進入?？蚣芗褐袃H部署。用于做存儲集群，有專屬的節點機型。節點管理節點，負責協調整個集群服務。目前僅節點支持綁定。通過云主機內網進行登錄。登錄密碼為集群創建時設置的密碼。 快速上手本篇目錄創建集群提交任務本文檔將帶領您如何創建UHadoop集群，并使用UHadoop集群完成數據處理任務。創建集群本章簡單介紹了用戶使用UHadoop服務...
摘要：架構架構元數據管理元數據管理元數據管理創建集群時可在控制臺開啟元數據獨立管理。若項目中已開啟過元數據獨立管理，則新集群開啟該功能時，不再創建新的，而是將新集群的元數據存儲于已有的中。 元數據管理本篇目錄介紹產品架構元數據管理介紹UHadoop 支持將 Hive-Metastore 的數據庫獨立于 Hadoop 集群部署，也支持多個集群訪問同一個 Hive 元數據庫，可在控制臺對其做管理。產品...
摘要：查看上的歷史日志查看上的歷史日志任務的日志在任務運行結束之后會上傳到上，當日志文件過大無法通過來查看時，可以通過將日志文件從上下載下來查看。掛載在允許的主機上執行 常用操作本篇目錄應用的Web接口查看日志配置NFS掛載hdfs到本地應用的Web接口Hadoop 提供了基于 Web 的用戶界面，可通過它查看您的 Hadoop 集群。Web 服務會在主節點上運行（Active NameNode或...
摘要：產品價格產品價格產品價格托管集群價格根據節點類型及配置不同，北京上海廣州香港可用區詳細價格如下，其他可用區價格請咨詢技術支持。 產品價格托管 Hadoop 集群價格根據節點類型及配置不同 ，北京、上海、廣州、香港可用區詳細價格如下，其他可用區價格請咨詢技術支持。 節點類型機型名稱CPU內存(G)硬盤(G)華北一E價格(元/月)國內其他可用區價格（元/月）Master&?Task?計算優化實例...
閱讀 284·2024-11-07 18:25
閱讀 130363·2024-02-01 10:43
閱讀 868·2024-01-31 14:58
閱讀 828·2024-01-31 14:54
閱讀 82766·2024-01-29 17:11
閱讀 3047·2024-01-25 14:55
閱讀 1985·2023-06-02 13:36
閱讀 3032·2023-05-23 10:26
