資訊專欄INFORMATION COLUMN
摘要：如果長時間之后，集群的數(shù)據(jù)量還是不均衡，可以在集群管理頁面提交數(shù)據(jù)均衡請求，如下圖數(shù)據(jù)均衡數(shù)據(jù)均衡也可以在節(jié)點提交均衡命令是判斷集群是否平衡的目標參數(shù)。
由于在UHadoop中Master配置是HA的，故NameNode也有2個，同一時刻一個節(jié)點為Active，另一個為Standby,一般內(nèi)存跑高或者網(wǎng)絡(luò)波動都可能會導(dǎo)致主從切換，不建議客戶端使用Master節(jié)點IP訪問HDFS數(shù)據(jù)。
正確使用方法： 如果所在機器已經(jīng)部署好UHadoop客戶端（部署方法請參考hadoopdev#在UHost上安裝Hadoop客戶端），可直接通過hadoop fs -ls / 或者hadoop fs -ls hdfs://Ucluster/訪問
如果是客戶端代碼，可以將集群/home/hadoop/conf/hdfs-site.xml和/home/hadoop/conf/core-site.xml拷貝到本地程序中，通過conf.addResource加載2個文件，即可通過hdfs://Ucluster/訪問HDFS數(shù)據(jù)
core節(jié)點由于要啟動node-manager 服務(wù)，會存一部分本地數(shù)據(jù)。所以，會用到額外的空間。core1節(jié)點會被zookeeper和 jornal-node占用一部分空間。所以，會更少一點。標準是配置90%空間給HDFS。
slaves相當于一份白名單機制，如果不配置此文件，默認新加core節(jié)點可以直接加入集群；新加節(jié)點是通過讀取hdfs-site.xml文件中的namenode相關(guān)信息找到并正確加入集群的，其他用戶節(jié)點或者網(wǎng)絡(luò)不通的節(jié)點是無法加入本集群的。
hbase的regionservers文件配置同理。
".Trash" 的文件默認配置是按5天check一次的，如果 ".Trash" 目錄下的文件超過5天就會刪除，如果沒超過5天，這個文件會放到類似 "/.Trash/yyMMddHHmm" 命名的文件中，然后等待5天做下一次檢查，這些文件才會被刪除，因此 ".Trash" 文件會保存5-10天。
可以更改以下2個參數(shù)更改保存與check時間：
fs.trash.interval文件保存時間fs.trash.checkpoint.interval文件check時間，默認等于"fs.trash.interval"- 錯誤1：Could not load native gpl library
確認當前客戶端配置和集群一樣的環(huán)境變量 “LD_LIBRARY_PATH”
- 錯誤2：java.lang.RuntimeException: native-lzo library not available
這個錯誤是執(zhí)行任務(wù)的機器沒有安裝lzo-devel，程序找不到liblzo2.so.2導(dǎo)致的，在該機器上執(zhí)行如下命令安裝即可：
yum install lzo lzo-devel為了便于管理，目前task節(jié)點必須保持統(tǒng)一的配置。
所以需要調(diào)整task節(jié)點配置的時候，只能通過刪除現(xiàn)有的task節(jié)點后，選擇新的類型。
注意： 1.刪除task節(jié)點時，會影響到當前正在運行中的任務(wù)； 2.需要用戶自行備份的刪除節(jié)點上的數(shù)據(jù)。
為了易于管理資源和調(diào)度資源，Yarn內(nèi)置了資源規(guī)整化算法，它規(guī)定了最小可申請資源量、最大可申請資源量和資源規(guī)整化因子，如果應(yīng)用程序申請的資源量小于最小可申請資源量，則Yarn會將其大小改為最小可申請量，也就是說，應(yīng)用程序獲得資源不會小于自己申請的資源，但也不一定相等；如果應(yīng)用程序申請的資源量大于最大可申請資源量，則會拋出異常，無法申請成功；規(guī)整化因子是用來規(guī)整化應(yīng)用程序資源的，應(yīng)用程序申請的資源如果不是該因子的整數(shù)倍，則將被修改為最小的整數(shù)倍對應(yīng)的值，公式為ceil(a/b)*b，其中a是應(yīng)用程序申請的資源，b為規(guī)整化因子。
以上介紹的參數(shù)需在yarn-site.xml中設(shè)置，相關(guān)參數(shù)如下：
- yarn.scheduler.minimum-allocation-mb：最小可申請內(nèi)存量，默認是1024
- yarn.scheduler.minimum-allocation-vcores：最小可申請CPU數(shù)，默認是1
- yarn.scheduler.maximum-allocation-mb：最大可申請內(nèi)存量，默認是8096
- yarn.scheduler.maximum-allocation-vcores：最大可申請CPU數(shù)，默認是4
對于規(guī)整化因子，不同調(diào)度器不同，具體如下：
- FIFO和Capacity Scheduler：規(guī)整化因子等于最小可申請資源量，不可多帶帶配置。
- Fair Scheduler：規(guī)整化因子通過參數(shù)yarn.scheduler.increment-allocation-mb和yarn.scheduler.increment-allocation-vcores設(shè)置，默認是1024和1。
通過以上介紹可知，應(yīng)用程序申請到資源量可能大于資源申請的資源量，比如YARN的最小可申請資源內(nèi)存量為1024，規(guī)整因子是1024，如果一個應(yīng)用程序申請1500內(nèi)存，則會得到2048內(nèi)存，如果規(guī)整因子是512，則得到1536內(nèi)存。
如果上傳的文件使用了壓縮，并且有破損的時候，會導(dǎo)致執(zhí)行的任務(wù)失敗。可以通過查看任務(wù)的日志文件定位損壞的文件。
- 從web-yarn的界面找到出錯的任務(wù)；
- 點擊查看任務(wù)的詳細信息；
- 打開任務(wù)的History鏈接，找到失敗的Mapper；
- 查看具體失敗的mapper處理的是哪一個文件。有兩種方法可以避免這個問題：
- 如果這個文件對結(jié)果影響不大， 那么可以跳過這個錯誤。 可以通過交任務(wù)時指定mapreduce.map.skip.maxrecords來跳過這個錯誤，讓任務(wù)可以繼續(xù)下去；
- 使用其他的壓縮格式。因為gzip壓縮需要保持整個文件完整才能解壓，推薦使用lzo格式，即使文件部分損壞，也可以保證任務(wù)繼續(xù)運行。添加節(jié)點成功后，后臺會自動進行數(shù)據(jù)均衡。如果長時間之后，集群的數(shù)據(jù)量還是不均衡，可以在“集群管理”頁面提交數(shù)據(jù)均衡請求，如下圖：
據(jù)均衡.png?v=1644489545)
也可以在master節(jié)點提交均衡命令：
/home/hadoop/sbin/start-balancer.sh -threshold 10threshold是判斷集群是否平衡的目標參數(shù)。默認值為10。表示當集群中所有core節(jié)點的可用磁盤容量百分比的差距小于10時，退出數(shù)據(jù)均衡。
因為在數(shù)據(jù)均衡的同時，也會有數(shù)據(jù)寫入，可以在/home/hadoop/conf/hdfs-site.xml中修改數(shù)據(jù)均衡時可以占用的帶寬：
<property>
<name>dfs.balance.bandwidthPerSecname>
<value>10485760value>
property>這面是設(shè)置傳輸速率為20M/S。
注意： 該值如果設(shè)置過大，可能會影響正常的hdfs讀寫和yarn任務(wù)執(zhí)行。
如果發(fā)現(xiàn)hdfs讀數(shù)據(jù)響應(yīng)慢，出現(xiàn)
WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Slow BlockReceiver write data to disk cost可以從以下幾個方面查找問題：
- 檢查磁盤IO；
- 檢查對于節(jié)點的GC情況；
- 檢查網(wǎng)絡(luò)帶寬；HDFS 支持并發(fā)讀、讀寫，但寫入不能并發(fā)。有且僅有一個客戶端時可同一時刻寫某個文件，但多個客戶端不能同時對HDFS寫文件。這是由于當一個客戶端獲得NameNode的允許去寫DataNode上的一個塊時，這個塊會被鎖住，直到操作完成。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://specialneedsforspecialkids.com/yun/126740.html
摘要：也可以將托管集群設(shè)置為快捷方式，通過左側(cè)快捷方式菜單欄點擊進入。框架集群中僅部署。用于做存儲集群，有專屬的節(jié)點機型。節(jié)點管理節(jié)點，負責協(xié)調(diào)整個集群服務(wù)。目前僅節(jié)點支持綁定。通過云主機內(nèi)網(wǎng)進行登錄。登錄密碼為集群創(chuàng)建時設(shè)置的密碼。 快速上手本篇目錄創(chuàng)建集群提交任務(wù)本文檔將帶領(lǐng)您如何創(chuàng)建UHadoop集群，并使用UHadoop集群完成數(shù)據(jù)處理任務(wù)。創(chuàng)建集群本章簡單介紹了用戶使用UHadoop服務(wù)...
摘要：查看上的歷史日志查看上的歷史日志任務(wù)的日志在任務(wù)運行結(jié)束之后會上傳到上，當日志文件過大無法通過來查看時，可以通過將日志文件從上下載下來查看。掛載在允許的主機上執(zhí)行 常用操作本篇目錄應(yīng)用的Web接口查看日志配置NFS掛載hdfs到本地應(yīng)用的Web接口Hadoop 提供了基于 Web 的用戶界面，可通過它查看您的 Hadoop 集群。Web 服務(wù)會在主節(jié)點上運行（Active NameNode或...
.png?v=1644489545)
摘要：架構(gòu)架構(gòu)元數(shù)據(jù)管理元數(shù)據(jù)管理元數(shù)據(jù)管理創(chuàng)建集群時可在控制臺開啟元數(shù)據(jù)獨立管理。若項目中已開啟過元數(shù)據(jù)獨立管理，則新集群開啟該功能時，不再創(chuàng)建新的，而是將新集群的元數(shù)據(jù)存儲于已有的中。 元數(shù)據(jù)管理本篇目錄介紹產(chǎn)品架構(gòu)元數(shù)據(jù)管理介紹UHadoop 支持將 Hive-Metastore 的數(shù)據(jù)庫獨立于 Hadoop 集群部署，也支持多個集群訪問同一個 Hive 元數(shù)據(jù)庫，可在控制臺對其做管理。產(chǎn)品...
摘要：創(chuàng)建任務(wù)創(chuàng)建任務(wù)選擇這個標簽拖動到中。頁面權(quán)限控制頁面權(quán)限控制頁面權(quán)限控制點擊管理用戶組選擇要修改的組名稱，設(shè)置相應(yīng)權(quán)限并保存 Hue開發(fā)指南本篇目錄1. 配置工作流2. Hue頁面權(quán)限控制Hue是面向 Hadoop 的開源用戶界面，可以讓您更輕松地運行和開發(fā) Hive 查詢、管理 HDFS 中的文件、運行和開發(fā) Pig 腳本以及管理表。服務(wù)默認已經(jīng)啟動，用戶只需要配置外網(wǎng)IP，在防火墻中配...
摘要：執(zhí)行語句時，任務(wù)內(nèi)存不足怎么辦執(zhí)行語句時，任務(wù)內(nèi)存不足怎么辦執(zhí)行語句時，任務(wù)內(nèi)存不足怎么辦如果在日志文件中看到出現(xiàn)錯誤，可以通過等來增大或可以使用的內(nèi)存數(shù)。 Hive本篇目錄Hive執(zhí)行sql任務(wù)太慢，是否可以支持hive on spark？執(zhí)行SQL語句時，map/reduce任務(wù)內(nèi)存不足怎么辦？hive-server2 通過jdbc提交任務(wù)的時候報文件權(quán)限不足執(zhí)行sql時速度很慢怎么辦？...
閱讀 351·2024-11-07 18:25
閱讀 130598·2024-02-01 10:43
閱讀 914·2024-01-31 14:58
閱讀 879·2024-01-31 14:54
閱讀 82884·2024-01-29 17:11
閱讀 3176·2024-01-25 14:55
閱讀 2028·2023-06-02 13:36
閱讀 3108·2023-05-23 10:26
