摘要：一的概念和產生背景什么是另一種資源協調者通用資源管理系統為上層應用提供統一的資源管理和調度，為集群在利用率資源統一管理和數據共享等方面帶來了巨大好處通用資源管理系統數據分布式存儲數據分塊，冗余存儲當多個任務要用到相同的數據，需要進行資源調度

一、YARN的概念和產生背景
什么是YARN

• Yet Another Resource Negotiator, 另一種資源協調者
• 通用資源管理系統
• 為上層應用提供統一的資源管理和調度，為集群在利用率、資源統一管理和數據共享等方面帶來了巨大好處

通用資源管理系統

• Hadoop數據分布式存儲（數據分塊，冗余存儲）
• 當多個MapReduce任務要用到相同的hdfs數據， 需要進行資源調度管理
• Hadoop1.x時并沒有YARN，MapReduce 既負責進行計算作業又處理服務器集群資源調度管理
• 隨著大數據技術的發展，Spark Storm ... 計算框架都要用到服務器集群資源
• 如果沒有通用資源管理系統，只能為多個集群分別提供數據

資源利用率低 運維成本高

Yarn (Yet Another Resource Negotiator) 另一種資源調度器

Mesos 大數據資源管理產品
不同計算框架可以共享同一個HDFS集群上的數據，享受整體的資源調度

二 YARN的架構和執行流程

• ResourceManager: RM 資源管理器? 整個集群同一時間提供服務的RM只有一個，負責集群資源的統一管理和調度? 處理客戶端的請求： submit, kill? 監控我們的NM，一旦某個NM掛了，那么該NM上運行的任務需要告訴我們的AM來如何進行處理
• NodeManager: NM 節點管理器? 整個集群中有多個，負責自己本身節點資源管理和使用? 定時向RM匯報本節點的資源使用情況? 接收并處理來自RM的各種命令：啟動Container? 處理來自AM的命令
• ApplicationMaster: AM? 每個應用程序對應一個：MR、Spark，負責應用程序的管理? 為應用程序向RM申請資源（core、memory），分配給內部task? 需要與NM通信：啟動/停止task，task是運行在container里面，AM也是運行在container里面
• Container 容器: 封裝了CPU、Memory等資源的一個容器,是一個任務運行環境的抽象
• Client: 提交作業 查詢作業的運行進度,殺死作業

1，Client提交作業請求

2，ResourceManager 進程和 NodeManager 進程通信，根據集群資源，為用戶程序分配第一個Container(容器)，并將 ApplicationMaster 分發到這個容器上面

3，在啟動的Container中創建ApplicationMaster

4，ApplicationMaster啟動后向ResourceManager注冊進程,申請資源

5，ApplicationMaster申請到資源后，向對應的NodeManager申請啟動Container,將要執行的程序分發到NodeManager上

6，Container啟動后，執行對應的任務

7，Tast執行完畢之后，向ApplicationMaster返回結果

8，ApplicationMaster向ResourceManager 請求kill

三 YARN的啟動
啟動yarn

$HADOOP_HOME/sbin/start-yarn.sh

• jps查看進程? ResourceManager? NodeManager
• 圖形化界面 http://192,168.19.137:8088
• 停止YARN相關的進程? sbin/stop-yarn.sh