資訊專欄INFORMATION COLUMN
某hadoop集群的某個(gè)datanode節(jié)點(diǎn)主機(jī)有壞盤，但是沒有配件及時(shí)更換，當(dāng)幾天后更換，啟動(dòng)datanode節(jié)點(diǎn)時(shí)，CM界面顯示對(duì)應(yīng)的XDYDAT10主機(jī)可用空間告警。如下圖：
檢查該datanode空間使用情況：hdfs使用率86.88%，剩余空間976.62GB，但是主機(jī)單個(gè)磁盤空間大都100%。如下圖：
而且執(zhí)行數(shù)據(jù)均衡時(shí)，顯示“Thecluster is balanced”，程序退出。
通過(guò)CM界面，在HDFS實(shí)例界面，選擇XDYDAT10，停止其datanode服務(wù)。如下圖：
若干小時(shí)后(本次操作是3小時(shí)左右后)，通過(guò)CM界面，在HDFS實(shí)例界面，選擇XDYDAT10，啟動(dòng)其datanode服務(wù)。如下圖：
XDYDAT10主機(jī)datanode服務(wù)啟動(dòng)后，再次檢查空間使用情況：可用空間都在400GB以上。如下圖：
并且檢查所有datanode節(jié)點(diǎn)，停止和啟動(dòng)節(jié)點(diǎn)前后，hdfs使用情況：停止datanode服務(wù)前，很多空間使用達(dá)100%(如下左圖)；停止再次啟動(dòng)后，空間有所均衡，無(wú)100%使用情況(如下右圖)。
最后，再次執(zhí)行均衡操作，能正常執(zhí)行數(shù)據(jù)均衡，等待數(shù)據(jù)均衡即可。
因當(dāng)前發(fā)生問(wèn)題的為老版本的cloudera集群（CDH5.2.1），在CDH5.10以前，balancer程序只會(huì)在節(jié)點(diǎn)之間平衡，當(dāng)所有節(jié)點(diǎn)與集群之間已經(jīng)平衡的情況下，運(yùn)行balancer程序并不會(huì)發(fā)生任何數(shù)據(jù)的遷移和轉(zhuǎn)移，只能采用本文使用的方法進(jìn)行嘗試，停止磁盤空間緊張的節(jié)點(diǎn)，讓hdfs為了維持?jǐn)?shù)據(jù)的3副本在其他數(shù)據(jù)節(jié)點(diǎn)生成已停止的datanode那部分冗余數(shù)據(jù)，然后再啟動(dòng)停止的datanode，以達(dá)到遷移數(shù)據(jù)的目的，釋放部分緊張的空間，但是此法并不智能。
在CDH5.10以后，hdfs加入了diskbalancer程序，可以在某個(gè)數(shù)據(jù)節(jié)點(diǎn)內(nèi)部，對(duì)多個(gè)磁盤數(shù)據(jù)使用率偏差太大的情況進(jìn)行平衡，此方法更智能更安全。
參數(shù)如下圖：
本案例，啟停磁盤空間不足的datanode節(jié)點(diǎn)后，再使用hdfsbalancer -threshold 1運(yùn)行均衡器進(jìn)行數(shù)據(jù)均衡，最終達(dá)到集群數(shù)據(jù)均衡。
HDFS均衡器是Hadoop提供的工具，使用該工具可以將數(shù)據(jù)從空間使用率高的datanodes移動(dòng)數(shù)據(jù)塊到利用不足的datanode節(jié)點(diǎn)，從而均衡集群的DataNode數(shù)據(jù)。其中threshold參數(shù)表示每個(gè)datanode的HDFS使用率于集群的平均DFS利用率的偏差百分比。另外，若直接運(yùn)行hdfsbalancer時(shí)，偏差百分比默認(rèn)值為10%。
最后，希望以上解釋說(shuō)明對(duì)各位有所幫助，謝謝。
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://specialneedsforspecialkids.com/yun/130029.html
據(jù)均衡.png?v=1644489545)
摘要：如果長(zhǎng)時(shí)間之后，集群的數(shù)據(jù)量還是不均衡，可以在集群管理頁(yè)面提交數(shù)據(jù)均衡請(qǐng)求，如下圖數(shù)據(jù)均衡數(shù)據(jù)均衡也可以在節(jié)點(diǎn)提交均衡命令是判斷集群是否平衡的目標(biāo)參數(shù)。 Hadoop本篇目錄訪問(wèn)HDFS數(shù)據(jù)提示Operation category READ is not supported in state standby？為什么HDFS實(shí)際可用空間比配置的小？為什么/home/hadoop/etc/had...
摘要：助輔助做元數(shù)據(jù)的備份。元數(shù)據(jù)存儲(chǔ)在內(nèi)存和磁盤中，這是因?yàn)榇疟P的讀寫效率較低，而保存到內(nèi)存又有斷電消失的隱患。但磁盤中的元數(shù)據(jù)并不是最新的，內(nèi)存中的元數(shù)據(jù)才是實(shí)時(shí)的。將中的和復(fù)制到自身節(jié)點(diǎn)上并加載進(jìn)內(nèi)存，根據(jù)的記錄操作更改元數(shù)據(jù)信息。 HDFS(Hadoop Distributed File System ) 前言：最近正式進(jìn)入了大數(shù)據(jù)框架的學(xué)習(xí)階段，文章來(lái)自個(gè)人OneNote筆記全部...
閱讀 1346·2023-01-11 13:20
閱讀 1684·2023-01-11 13:20
閱讀 1132·2023-01-11 13:20
閱讀 1858·2023-01-11 13:20
閱讀 4100·2023-01-11 13:20
閱讀 2704·2023-01-11 13:20
閱讀 1385·2023-01-11 13:20
閱讀 3597·2023-01-11 13:20
