常用操作托管Hadoop集群 UHadoop

ernest.wang 發(fā)布于2022-07-12 17:05 / 1777人閱讀

摘要：查看上的歷史日志查看上的歷史日志任務(wù)的日志在任務(wù)運(yùn)行結(jié)束之后會(huì)上傳到上，當(dāng)日志文件過(guò)大無(wú)法通過(guò)來(lái)查看時(shí)，可以通過(guò)將日志文件從上下載下來(lái)查看。掛載在允許的主機(jī)上執(zhí)行

常用操作

本篇目錄

應(yīng)用的Web接口查看日志配置NFS掛載hdfs到本地

應(yīng)用的Web接口

Hadoop 提供了基于 Web 的用戶界面，可通過(guò)它查看您的 Hadoop 集群。Web 服務(wù)會(huì)在主節(jié)點(diǎn)上運(yùn)行（Active NameNode或者Active ResourceManager），綁定外網(wǎng)IP,開(kāi)放對(duì)應(yīng)應(yīng)用防火墻端口后可以查看。

web hdfs

可以通過(guò)在瀏覽器地址欄中輸入 http://外網(wǎng)ip:50070 來(lái)查看hdfs的基本信息。

web yarn

可以通過(guò) http://外網(wǎng)IP:23188/cluster 查看yarn resource manager 信息。

注解：由于resource manager可以動(dòng)態(tài)切換，當(dāng)節(jié)點(diǎn)轉(zhuǎn)換為StandBy節(jié)點(diǎn)時(shí)，webyarn服務(wù)無(wú)法切換到active節(jié)點(diǎn)。

web hbase

可以通過(guò) http://外網(wǎng)IP:60010/master-status 查看hbase的基本信息。

查看日志

1.查看節(jié)點(diǎn)上的日志

可在產(chǎn)品界面選擇服務(wù)管理，查看相應(yīng)服務(wù)運(yùn)行的節(jié)點(diǎn)位置，登陸對(duì)應(yīng)節(jié)點(diǎn)后進(jìn)入查看所啟動(dòng)服務(wù)的服務(wù)日志。

各服務(wù)日志所在位置如下所示：

位置說(shuō)明/var/log/hadoop-hdfshdfs服務(wù)相關(guān)日志/var/log/hadoop-yarnyarn服務(wù)日志/var/log/hadoop-yarnyarn服務(wù)日志/var/log/hbasehbase服務(wù)日志/var/log/hivehive服務(wù)日志/var/log/huehue服務(wù)日志/var/log/zookeeperzookeeper服務(wù)日志 2.提交到y(tǒng)arn的任務(wù)日志

用戶可以在web yarn頁(yè)面查看提交到y(tǒng)arn上的任務(wù)日志詳情。由于任務(wù)日志界面需支持能訪問(wèn)集群各個(gè)節(jié)點(diǎn)，故可在UCloud云平臺(tái)中的任意一臺(tái)綁定外網(wǎng)IP的云主機(jī)或UHadoop的Master節(jié)點(diǎn)上，配置代理或者VPN，以便能夠訪問(wèn)到集群中的每個(gè)節(jié)點(diǎn)。

a.配置vpn

可參考配置openvpn文檔配置vpn。

注解：配置完成后，可在訪問(wèn)端加上集群節(jié)點(diǎn)中最新的host文件即可（登陸集群中任意節(jié)點(diǎn)，查看/etc/hosts）。

b.配置Nginx反向代理服務(wù)端配置

安裝Nginx

yum install nginx -y

修改配置

新建/etc/nginx/conf.d/proxy.conf 文件中添加如下配置

         server {
             listen   8889;
             client_body_timeout 60000;
             client_max_body_size 1024m;
             send_timeout   60000;
             client_header_buffer_size 16k;
             large_client_header_buffers 4 64k;
             proxy_headers_hash_bucket_size 1024;
             proxy_headers_hash_max_size 4096;
             proxy_read_timeout 60000;
             proxy_send_timeout 60000;
             location / {
             resolver 127.0.0.1;
             proxy_pass http://$http_host$request_uri;
             }
         }

3.啟動(dòng)nginx服務(wù)

service nginx restart

4.啟動(dòng)域名服務(wù)

service dnsmasq restart

集群節(jié)點(diǎn)發(fā)生變化時(shí)，需要重新啟動(dòng)這個(gè)服務(wù)。

訪問(wèn)端配置

1.在訪問(wèn)的網(wǎng)頁(yè)端配置代理

2.配置hosts

需要在hosts中添加代理服務(wù)器的/etc/hosts文件中節(jié)點(diǎn)的host信息。

例如：

10.19.43.21 uhadoop-wpmitd-master1
10.19.20.134 uhadoop-wpmitd-core1
10.19.133.58 uhadoop-wpmitd-master2

用戶登錄web yarn頁(yè)面可通過(guò)任務(wù)id 來(lái)搜索對(duì)應(yīng)任務(wù)，查看任務(wù)狀態(tài)，并點(diǎn)擊任務(wù)，獲取任務(wù)日志，查看詳情進(jìn)行分析。

3.查看hdfs上的歷史日志

yarn任務(wù)的日志在任務(wù)運(yùn)行結(jié)束之后會(huì)上傳到hdfs上，當(dāng)日志文件過(guò)大無(wú)法通過(guò)web來(lái)查看時(shí)，可以通過(guò)將日志文件從hdfs上下載下來(lái)查看。

日志文件的目錄是：`hdfs://Ucluster/var/log/hadoop-yarn/apps/$SUBMITUSER/logs`

注解：$SUBMITUSER是當(dāng)前提交用戶的名。

配置NFS掛載hdfs到本地

1.修改配置

修改master節(jié)點(diǎn)下下面兩個(gè)配置。

core-site.xml

    <property>
        <name>hadoop.proxyuser.nfsserver.groupsname>
        <value>*value>
        <description>nfsserver有哪些group的權(quán)限description>
    property>
    <property>
        <name>hadoop.proxyuser.nfsserver.hostsname>
        <value>hostnamevalue>
        <description>允許啟動(dòng)nfsserver的主機(jī)名description>
    property>

修改hdfs-site.xml

    <property>
        <name>nfs.dump.dirname>
        <value>/tmp/.hdfs-nfsvalue>
    property>
    <property>
        <name>nfs.rtmaxname>
        <value>1048576value>
        <description>單次讀請(qǐng)求最大字節(jié)數(shù)description>
    property>
    <property>
        <name>nfs.wtmaxname>
        <value>65536value>
        <description>單次寫訪問(wèn)最大字節(jié)數(shù) description>
    property>
    <property>
        <name>nfs.exports.allowed.hostsname>
        <value>* rwvalue>
        <description>配置掛載主機(jī)對(duì)文件的訪問(wèn)權(quán)限，例如”192.168.0.0/22 rw ; host.*.example.com ; host1.test.org ro;”description>
    property>

2.啟動(dòng)nfs，在1中配置的允許啟動(dòng)nfs的主機(jī)上執(zhí)行下面操作

    ${HADOOP_HOME}/sbin/hadoop-daemon.sh start portmap
    *一定是root用戶才有權(quán)限綁定端口。
    ${HADOOP_HOME}/sbin/hadoop-daemon.sh start nfs3
    *一定是hadoop用戶啟動(dòng)，才有所有文件的訪問(wèn)權(quán)限。
    showmount -e hostname
    Export list for hostname:
    / *

3.掛載

在nfs.exports.allowed.hosts允許的主機(jī)上執(zhí)行

    mkdir -p /data/hdfsnfs
    mount -t nfs -o vers=3,proto=tcp,nolock,noacl hostname:/ /data/hdfsnfs

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://specialneedsforspecialkids.com/yun/126770.html

發(fā)表評(píng)論

登陸后可評(píng)論

0條評(píng)論

ernest.wang

男|高級(jí)講師

我要關(guān)注我要私信

TA的文章

特朗普勝任，將對(duì)跨境電商賣家產(chǎn)生哪些影響？

閱讀 284·2024-11-07 18:25
幻獸帕魯常見(jiàn)問(wèn)題匯總

閱讀 130363·2024-02-01 10:43
在Linux和Windows上部署帕魯?shù)膮^(qū)別？

閱讀 868·2024-01-31 14:58
怎么重啟幻獸帕魯云服務(wù)器？

閱讀 828·2024-01-31 14:54
幻獸帕魯自建服務(wù)器存檔備份及回檔 - windows篇

閱讀 82766·2024-01-29 17:11
小白必讀教程，幻獸帕魯服務(wù)器手動(dòng)部署教程 - Windows篇

閱讀 3047·2024-01-25 14:55
A800GPU租用-A800顯卡

閱讀 1985·2023-06-02 13:36
5G短信和普通短信的區(qū)別

閱讀 3032·2023-05-23 10:26

国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來(lái)選購(gòu)！

常用操作托管Hadoop集群 UHadoop

常用操作

本篇目錄

應(yīng)用的Web接口

查看日志

配置NFS掛載hdfs到本地

相關(guān)文章

**托管Hadoop集群快速上手 UHadoop**

**Python開(kāi)發(fā)指南托管Hadoop集群 UHadoop**

**元數(shù)據(jù)管理托管Hadoop集群 UHadoop**

**基本操作托管Hadoop集群 UHadoop**

**配置openvpn 托管Hadoop集群 UHadoop**

發(fā)表評(píng)論

0條評(píng)論

ernest.wang

男|高級(jí)講師

TA的文章

特朗普勝任，將對(duì)跨境電商賣家產(chǎn)生哪些影響？

幻獸帕魯常見(jiàn)問(wèn)題匯總

在Linux和Windows上部署帕魯?shù)膮^(qū)別？

怎么重啟幻獸帕魯云服務(wù)器？

幻獸帕魯自建服務(wù)器存檔備份及回檔 - windows篇

小白必讀教程，幻獸帕魯服務(wù)器手動(dòng)部署教程 - Windows篇

A800GPU租用-A800顯卡

5G短信和普通短信的區(qū)別

最新活動(dòng)

資訊專欄INFORMATION COLUMN

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來(lái)選購(gòu)！

常用操作 托管Hadoop集群 UHadoop

本篇目錄

相關(guān)文章

發(fā)表評(píng)論

0條評(píng)論

男|高級(jí)講師

TA的文章

最新活動(dòng)

常用操作托管Hadoop集群 UHadoop