標(biāo)題：DKhadoop大數(shù)據(jù)處理平臺監(jiān)控數(shù)據(jù)介紹

AlienZHOU 發(fā)布于2019-08-16 13:33 / 1211人閱讀

摘要：標(biāo)題大數(shù)據(jù)處理平臺監(jiān)控數(shù)據(jù)介紹年國內(nèi)大數(shù)據(jù)公司強(qiáng)榜單排名已經(jīng)公布了出來，大快以黑馬之姿闖入強(qiáng)，并摘得多項桂冠。本篇承接上一篇平臺監(jiān)控參數(shù)說明，繼續(xù)就大快的大數(shù)據(jù)一體化處理架構(gòu)中的平臺監(jiān)控參數(shù)進(jìn)行介紹和說明。

標(biāo)題：DKhadoop大數(shù)據(jù)處理平臺監(jiān)控數(shù)據(jù)介紹
2018年國內(nèi)大數(shù)據(jù)公司50強(qiáng)榜單排名已經(jīng)公布了出來，大快以黑馬之姿闖入50強(qiáng)，并摘得多項桂冠。Hanlp自然語言處理技術(shù)也榮膺了“2018中國數(shù)據(jù)星技術(shù)”獎。對這份榜單感興趣的可以找一下看看。本篇承接上一篇《DKM平臺監(jiān)控參數(shù)說明》，繼續(xù)就大快的大數(shù)據(jù)一體化處理架構(gòu)中的平臺監(jiān)控參數(shù)進(jìn)行介紹和說明。
DKhadoop大數(shù)據(jù)處理平臺架構(gòu)的安裝相關(guān)文章已經(jīng)分享過，詳細(xì)的內(nèi)容可以找一下看看。在上一篇中已經(jīng)就集群平均負(fù)載、集群磁盤使用情況、HDFS監(jiān)控界面、Hbase監(jiān)控界面等監(jiān)控參數(shù)進(jìn)行說明。今天就把剩下的一些監(jiān)控參數(shù)一起介紹完，關(guān)于大快大數(shù)據(jù)處理平臺監(jiān)控參數(shù)的介紹就完整了。

1、Yarn監(jiān)控界面
（1）執(zhí)行失敗的應(yīng)用程序

監(jiān)控 yarn資源管理中總執(zhí)行失敗的應(yīng)用程序數(shù)量
縱軸表示應(yīng)用程序數(shù)量，單位個
橫軸表示時間,單位分鐘
（2）已提交的應(yīng)用程序

監(jiān)控 yarn資源管理中已提交的應(yīng)用程序數(shù)量
縱軸表示應(yīng)用程序數(shù)量，單位個
橫軸表示時間,單位分鐘

（3）正在運(yùn)行的應(yīng)用程序

監(jiān)控 yarn資源管理中正在運(yùn)行的應(yīng)用程序數(shù)量
縱軸表示應(yīng)用程序數(shù)量，單位個
橫軸表示時間,單位分鐘
（4）等待執(zhí)行的應(yīng)用程序

監(jiān)控 yarn資源管理中等待執(zhí)行的應(yīng)用程序數(shù)量
縱軸表示應(yīng)用程序數(shù)量，單位個
橫軸表示時間,單位分鐘

（5）已完成的應(yīng)用程序

監(jiān)控 yarn資源管理中已完成的應(yīng)用程序數(shù)量
縱軸表示應(yīng)用程序數(shù)量，單位個
橫軸表示時間,單位分鐘
（6）被kill的應(yīng)用程序

監(jiān)控 yarn資源管理中被殺死的應(yīng)用程序數(shù)量
縱軸表示應(yīng)用程序數(shù)量，單位個
橫軸表示時間,單位分鐘
2、Spark監(jiān)控界面
注意：（spark 運(yùn)行任務(wù)后才有監(jiān)控數(shù)據(jù)）
（1）最大可使用內(nèi)存

監(jiān)控 Spark 集群中最大可使用的內(nèi)存
縱軸表示內(nèi)存容量，單位MB
橫軸表示時間,單位分鐘
（2）已使用的內(nèi)存

監(jiān)控 Spark 集群中已經(jīng)使用的內(nèi)存
縱軸表示內(nèi)存容量，單位MB
橫軸表示時間,單位分鐘
（3）剩余內(nèi)存

監(jiān)控 Spark 集群中剩余的內(nèi)存
縱軸表示內(nèi)存容量，單位（MB）
橫軸表示時間,單位分鐘
（4）Spark中任務(wù)數(shù)量

監(jiān)控 Spark 集群中任務(wù)數(shù)量
縱軸表示內(nèi)存容量，單位MB
橫軸表示時間,單位分鐘
（5）Spark中正在運(yùn)行的任務(wù)數(shù)量

監(jiān)控 Spark中正在運(yùn)行的任務(wù)數(shù)量
縱軸表示內(nèi)存容量，單位MB
橫軸表示時間,單位分鐘
（6）正在運(yùn)行的stage數(shù)量

監(jiān)控 Spark集群中正在運(yùn)行的stage數(shù)量
縱軸表示stage數(shù)量，單位個
橫軸表示時間,單位分鐘

（7）失敗的stage數(shù)量

監(jiān)控 Spark集群中運(yùn)行失敗的stage數(shù)量
縱軸表示stage數(shù)量，單位個
橫軸表示時間,單位分鐘
（8）準(zhǔn)備就緒的stage數(shù)量

監(jiān)控 Spark集群中準(zhǔn)備就緒的stage數(shù)量
縱軸表示stage數(shù)量，單位個
橫軸表示時間,單位分鐘
備注：
（橫軸的時間表示采集時間，一般是1分鐘一次）