国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

Hadoop集群數據均衡處理案例

IT那活兒 / 2566人閱讀
Hadoop集群數據均衡處理案例
點擊上方“IT那活兒”公眾號，關注后了解更多內容，不管IT什么活兒，干就完了！！！
一

背  景

某hadoop集群的某個datanode節點主機有壞盤，但是沒有配件及時更換，當幾天后更換，啟動datanode節點時，CM界面顯示對應的XDYDAT10主機可用空間告警。如下圖：
檢查該datanode空間使用情況：hdfs使用率86.88%，剩余空間976.62GB，但是主機單個磁盤空間大都100%。如下圖：
而且執行數據均衡時，顯示“Thecluster is balanced”，程序退出。

二

處理方法

通過CM界面，在HDFS實例界面，選擇XDYDAT10，停止其datanode服務。如下圖：
若干小時后(本次操作是3小時左右后)，通過CM界面，在HDFS實例界面，選擇XDYDAT10，啟動其datanode服務。如下圖：
XDYDAT10主機datanode服務啟動后，再次檢查空間使用情況：可用空間都在400GB以上。如下圖：
并且檢查所有datanode節點，停止和啟動節點前后，hdfs使用情況：停止datanode服務前，很多空間使用達100%(如下左圖)；停止再次啟動后，空間有所均衡，無100%使用情況(如下右圖)。
最后，再次執行均衡操作，能正常執行數據均衡，等待數據均衡即可。

三

均衡詳解

因當前發生問題的為老版本的cloudera集群（CDH5.2.1），在CDH5.10以前，balancer程序只會在節點之間平衡，當所有節點與集群之間已經平衡的情況下，運行balancer程序并不會發生任何數據的遷移和轉移，只能采用本文使用的方法進行嘗試，停止磁盤空間緊張的節點，讓hdfs為了維持數據的3副本在其他數據節點生成已停止的datanode那部分冗余數據，然后再啟動停止的datanode，以達到遷移數據的目的，釋放部分緊張的空間，但是此法并不智能。
在CDH5.10以后，hdfs加入了diskbalancer程序，可以在某個數據節點內部，對多個磁盤數據使用率偏差太大的情況進行平衡，此方法更智能更安全。
參數如下圖：
本案例，啟停磁盤空間不足的datanode節點后，再使用hdfsbalancer -threshold 1運行均衡器進行數據均衡，最終達到集群數據均衡。
HDFS均衡器是Hadoop提供的工具，使用該工具可以將數據從空間使用率高的datanodes移動數據塊到利用不足的datanode節點，從而均衡集群的DataNode數據。其中threshold參數表示每個datanode的HDFS使用率于集群的平均DFS利用率的偏差百分比。另外，若直接運行hdfsbalancer時，偏差百分比默認值為10%。
希望以上解釋說明對各位有所幫助。


本文作者：孫華偉（上海新炬王翦團隊）

本文來源：“IT那活兒”公眾號

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129239.html

相關文章

  • Hadoop 托管Hadoop集群 UHadoop

    摘要：如果長時間之后，集群的數據量還是不均衡，可以在集群管理頁面提交數據均衡請求，如下圖數據均衡數據均衡也可以在節點提交均衡命令是判斷集群是否平衡的目標參數。 Hadoop本篇目錄訪問HDFS數據提示Operation category READ is not supported in state standby？為什么HDFS實際可用空間比配置的小？為什么/home/hadoop/etc/had...

    ernest.wang 評論0 收藏2864

  • Hadoop學習熱身——HDFS概念

    摘要：助輔助做元數據的備份。元數據存儲在內存和磁盤中，這是因為磁盤的讀寫效率較低，而保存到內存又有斷電消失的隱患。但磁盤中的元數據并不是最新的，內存中的元數據才是實時的。將中的和復制到自身節點上并加載進內存，根據的記錄操作更改元數據信息。 HDFS(Hadoop Distributed File System ) 前言：最近正式進入了大數據框架的學習階段，文章來自個人OneNote筆記全部...

    AnthonyHan 評論0 收藏0

發表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<