資訊專欄INFORMATION COLUMN
摘要：本文是對于自己編譯的部署，如果是集成的則可直接在管理界面中查看。在中創(chuàng)建一個目錄，用于保存運行日志信息。配置，使從此目錄中讀取日志信息其中保存日志相關(guān)信息的路徑，可以是開頭的路徑，也可以是開頭的本地路徑，都需要提前創(chuàng)建。
本文是對于自己編譯的Spark部署，如果是CDH集成的Spark則可直接在管理界面中查看。
1.在hdfs中創(chuàng)建一個目錄，用于保存Spark運行日志信息。]$ hdfs dfs -mkdir /spark/historylog2.配置spark conf，使Spark History Server從此目錄中讀取日志信息
]$ vim spark-defaults.conf spark.eventLog.compress true spark.eventLog.dir hdfs://nameservice1/spark/historylog spark.yarn.historyServer.address hadoop002:18080
其中spark.eventLog.dir保存日志相關(guān)信息的路徑，可以是hdfs://開頭的HDFS路徑，也可以是file://開頭的本地路徑，都需要提前創(chuàng)建。
3.添加環(huán)境參數(shù)]$ vim spark-env.sh
export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://mycluster/spark/historylog
-Dspark.history.ui.port=18080
-Dspark.history.retainedApplications=20"
4.啟動服務(wù)
]# ./sbin/start-history-server.sh
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://specialneedsforspecialkids.com/yun/25103.html
摘要：本文作者本文鏈接安裝說明在安裝之前，需要安裝集群環(huán)境，如果沒有可以查看分布式集群的搭建用到的軟件軟件版本下載地址節(jié)點安排名稱主節(jié)點子節(jié)點子節(jié)點安裝解壓到安裝目錄修改配置文件配置文件位于目錄下。 本文作者：foochane?本文鏈接：https://foochane.cn/article/2019051904.html 1 安裝說明 在安裝spark之前，需要安裝hadoop集群環(huán)境，...
摘要：安裝示例基于安裝安裝前需要安裝大量的軟件和包，因為和必須的依賴包安裝中依賴包所需依賴包依賴包致命錯誤找不到的問題解決沒有那個文件或目錄沒有那個文件或目錄依賴包的安裝這邊沒有分先后順序基本都會使 Hue 安裝 示例基于Centos7安裝Hue,安裝前需要安裝大量的軟件和包，因為python和c必須的依賴包 安裝Centos7中Hue依賴包 yum install ant gcc g++...
閱讀 3677·2021-09-22 15:34
閱讀 1186·2019-08-29 17:25
閱讀 3399·2019-08-29 11:18
閱讀 1371·2019-08-26 17:15
閱讀 1740·2019-08-23 17:19
閱讀 1228·2019-08-23 16:15
閱讀 718·2019-08-23 16:02
閱讀 1335·2019-08-23 15:19
