資訊專欄INFORMATION COLUMN
摘要：最多可以使用的資源量，會保證每個隊列使用的資源量不會超過該隊列的最多可使用資源量。可向隊列中提交應用程序的用戶或用戶組列表，默認情況下為，表示任何用戶均可以向該隊列提交應用程序。該隊列的管理員列表。
由于Fair Scheduler比Capacity Scheduler 支持的功能豐富，這里只介紹前者。
修改/home/hadoop/conf/yarn-site.xml增加配置：
<property>
<name>yarn.scheduler.fair.allocation.filename>
<value>fair-scheduler.xmlvalue>
<description>默認會從HADOOOP_CONF_DIR路徑下尋找description>
property>
<property>
<name>yarn.scheduler.fair.allow-undeclared-poolsname>
<value>falsevalue>
<description>禁止創建為未指定隊列名的任務創建新的隊列，未指定隊列的任務會使用默認隊列資源description>
property>cat fair-scheduler.xml
<allocations>
<queue name="root">
<queue name="testqueue">
<minResources>1024mb,1vcoresminResources>
<maxResources>2048mb,2vcoresmaxResources>
<maxRunningApps>100maxRunningApps>
<schedulingPolicy>fairschedulingPolicy>
<weight>3.0weight>
<aclSubmitApps>* aclSubmitApps>
queue>
queue>
allocations>隊列屬性說明：
1.minResources ：最少資源保證量，設置格式為“X mb, Y vcores”，當一個隊列的最少資源保證量未滿足時，它將優先于其他同級隊列獲得資源，對于不同的調度策略（后面會詳細介紹），最少資源保證量的含義不同，對于fair策略，則只考慮內存資源，即如果一個隊列使用的內存資源超過了它的最少資源量，則認為它已得到了滿足；對于drf策略，則考慮主資源使用的資源量，即如果一個隊列的主資源量超過它的最少資源量，則認為它已得到了滿足。
2.maxResources：最多可以使用的資源量，fair scheduler會保證每個隊列使用的資源量不會超過該隊列的最多可使用資源量。
3.maxRunningApps：最多同時運行的應用程序數目。通過限制該數目，可防止超量Map Task同時運行時產生的中間輸出結果撐爆磁盤。
4.minSharePreemptionTimeout：最小共享量搶占時間。如果一個資源池在該時間內使用的資源量一直低于最小資源量，則開始搶占資源。
5.schedulingMode/schedulingPolicy：隊列采用的調度模式，可以是fifo、fair或者drf。
6.aclSubmitApps：可向隊列中提交應用程序的Linux用戶或用戶組列表，默認情況下為“*”，表示任何用戶均可以向該隊列提交應用程序。需要注意的是，該屬性具有繼承性，即子隊列的列表會繼承父隊列的列表。配置該屬性時，用戶之間或用戶組之間用“，”分割，用戶和用戶組之間用空格分割，比如“user1, user2 group1,group2”。
7.aclAdministerApps：該隊列的管理員列表。一個隊列的管理員可管理該隊列中的資源和應用程序，比如可殺死任意應用程序。
8.weight主要用在資源共享之時，weight越大，拿到的資源越多。比如一個pool中有20GB內存用不了，這時候可以共享給其他pool，其他每個pool拿多少，就是由權重決定的。
9.maxAMShare： application masters使用的內存比例限制取值范圍是[0.0f, 1.0f], 默認值是0.5f， -1.0f 表示不進行檢查。
10.fairSharePreemptionTimeout：公平共享量搶占時間。如果一個資源池在該時間內使用資源量一直低于公平共享量的fairSharePreemptionThreshold * 公平共享量，則開始搶占資源。
11.fairSharePreemptionThreshold： 配合上面參數使用的。
也可通過以下參數設置上面部分屬性的默認值
defaultFairSharePreemptionTimeout
userMaxAppsDefault
defaultMinSharePreemptionTimeout
defaultFairSharePreemptionThreshold
queueMaxAppsDefault
queueMaxAMShareDefault
defaultQueueSchedulingPolicy
queuePlacementPolicymaxRunningApps: 目前只能限制用戶提交任務數量
應用隊列配置修改fair-scheduler.xml文件，后推送到master節點上。然后在master1上以hadoop用戶執行
yarn rmadmin -refreshQueues注解：這個命令只能增加fair-scheduler.xml中的配置， 不能刪除掉原有的配置隊列，如果要刪除原來的配置要重啟ressourcemanager
更詳細的內容請參考官網說明
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/127046.html
摘要：監控數據查看監控數據查看用戶可于產品界面右側彈框中查看集群監控數據，也可進入監控視圖中進行詳細查看集群及各節點監控數據信息。 基本操作本篇目錄集群管理服務管理告警與監控數據均衡Yarn Application跟蹤集群管理1、進入集群管理頁面通過UHadoop集群列表頁面進入集群管理頁面：2、獲取當前節點配置信息本例中，Master 節點數量 2，機型為 C1-large；Core 節點數量為...
摘要：也可以將托管集群設置為快捷方式，通過左側快捷方式菜單欄點擊進入。框架集群中僅部署。用于做存儲集群，有專屬的節點機型。節點管理節點，負責協調整個集群服務。目前僅節點支持綁定。通過云主機內網進行登錄。登錄密碼為集群創建時設置的密碼。 快速上手本篇目錄創建集群提交任務本文檔將帶領您如何創建UHadoop集群，并使用UHadoop集群完成數據處理任務。創建集群本章簡單介紹了用戶使用UHadoop服務...
摘要：常見任務常見任務常見任務本篇目錄原因單個任務所分配較低，或者任務數據量教導，導致任務解決方法端提交任務時，嘗試增大任務參數端嘗試增大任務參數降低任務并行度，修改，添加原因提交任 常見任務ERROR本篇目錄java.lang.OutOfMemoryError: Java heap spacejava.lang.ClassNotFoundExceptionUser root cannot sub...
摘要：架構架構元數據管理元數據管理元數據管理創建集群時可在控制臺開啟元數據獨立管理。若項目中已開啟過元數據獨立管理，則新集群開啟該功能時，不再創建新的，而是將新集群的元數據存儲于已有的中。 元數據管理本篇目錄介紹產品架構元數據管理介紹UHadoop 支持將 Hive-Metastore 的數據庫獨立于 Hadoop 集群部署，也支持多個集群訪問同一個 Hive 元數據庫，可在控制臺對其做管理。產品...
摘要：創建任務創建任務選擇這個標簽拖動到中。頁面權限控制頁面權限控制頁面權限控制點擊管理用戶組選擇要修改的組名稱，設置相應權限并保存 Hue開發指南本篇目錄1. 配置工作流2. Hue頁面權限控制Hue是面向 Hadoop 的開源用戶界面，可以讓您更輕松地運行和開發 Hive 查詢、管理 HDFS 中的文件、運行和開發 Pig 腳本以及管理表。服務默認已經啟動，用戶只需要配置外網IP，在防火墻中配...
閱讀 283·2024-11-07 18:25
閱讀 130362·2024-02-01 10:43
閱讀 867·2024-01-31 14:58
閱讀 828·2024-01-31 14:54
閱讀 82766·2024-01-29 17:11
閱讀 3047·2024-01-25 14:55
閱讀 1985·2023-06-02 13:36
閱讀 3032·2023-05-23 10:26
