Hadoop完全分布模式安裝

IT那活兒發布于2023-01-11 13:20 / 2946人閱讀

Hadoop完全分布模式安裝

一. Hadoop完全分布式

完全分布式真正利用多臺Linux主機來進行部署Hadoop，對集群進行規劃，使得Hadoop各個模塊分別部署在不同的多臺機器上。

二. 搭建過程

1. 所需軟件

Jdk版本：jdk-8u162-linux-x64.tar.gz

Hadoop版本：hadoop-2.7.1.tar.gz

環境準備：

Master：192.168.163.128

Slave：192.168.163.129

2. 修改主機名

Master：

hostnamectl set-hostname master

bash

Slave：

hostnamectl set-hostname slave

bash

3. 修改/etc/hosts文件，配置主機域名映射

Master：

vim /etc/hosts

Slave：

vim /etc/hosts

192.168.163.128 master

192.168.163.129 ave

4. 關閉防火墻（兩臺都要關）

Master：

systemctl stop firewalld

Slave：

systemctl stop firewalld

5. 安裝并配置NTP服務，用于時間同步

Master：

yum install -y ntp

#修改配置文件，在末尾添加兩條配置

vim /etc/ntp.conf

server 127.127.1.0

fudge 127.127.1.0 startum 10

#啟動服務并設置開機自啟

systemctl start ntpd

systemctl enable ntpd

Slave：

yum install -y ntpdate

ntpdate master

6. 配置免密碼登錄（只配置從節點到主節點即可）

Master：

ssh-keygen

ssh-copy-id master

ssh-copy-id slave

7. 創建Hadoop目錄

mkdir /opt/Hadoop

cd /opt/Hadoop/

8. 將jdk和Hadoop上傳到目錄下

9. 安裝和配置jdk

#將jdk安裝包解壓
tar -zxvf jdk-8u162-linux-x64.tar.gz
#編輯/etc/profile文件，配置環境變量
vim /etc/profile
export JAVE_HOME=/opt/Hadoop/jdk1.8.0_162
export PATH=$PATH:$JAVE_HOME/bin
#刷新環境變量，使修改的變量生效
source /etc/profile
#驗證是否安裝成功
java -version

10. 安裝Hadoop

#解壓Hadoop的安裝包
tar -zxvf hadoop-2.7.1.tar.gz
#編輯/etc/profile文件，配置環境變量
vim /etc/profile
export HADOOP_HOME=/opt/Hadoop/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#刷新環境變量，使修改的變量生效
source /etc/profile
#驗證是否安裝成功
hadoop version

11. 修改Hadoop的配置文件

#進入到/opt/Hadoop/hadoop-2.7.1/etc/hadoop下
cd hadoop-2.7.1/etc/hadoop/
#修改core-site.xml
vim core-site.xml
<configuration>
    <property>
        <name>fs.defaultFSname>
        <value>hdfs://master:9000value>
    property>
    <property>
        <name>hadoop.tmp.dirname>
        <value>/opt/hadoop/hadoop-2.7.1/hdfsvalue>
    property>
configuration>
#修改hdfs-site.xml
vim hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replicationname>
        <value>2value>
    property>
    <property>
        <name>dfs.namenode.secondary.http-addressname>
        <value>slave:9001value>
    property>
configuration>
#修改mapred-site.xml.template
vim mapred-site.xml.template
<configuration>
    <property>
        <name>mapreduce.framework.namename>
        <value>yarnvalue>
    property>
configuration>
#修改yarn-site.xml
vim yarn-site.xml
<configuration>
    <property>
        <name>yarn.resourcemanager.hostnamename>
        <value>mastervalue>
    property>
    <property>
        <name>yarn.nodemanager.aux-servicesname>
        <value>mapreduce_shufflevalue>
    property>
configuration>
#修改slaves文件
vim slaves
master
slave

12. 將修改好的環境復制到從節點上

#將jdk復制到從節點
scp -r /opt/Hadoop/jdk1.8.0_162/ slave:/opt/Hadoop/jdk1.8.0_162/
#將Hadoop復制到從節點
scp -r /opt/Hadoop/hadoop-2.7.1/ slave:/opt/Hadoop/
#將環境變量復制到從節點上
scp /etc/profile slave:/etc/

13. 格式化Hadoop

hdfs namenode -format

14. 啟動

start-all.sh

15. 驗證啟動情況

[root@master Hadoop]# jps
21235 DataNode
21588 NodeManager
21894 Jps
21112 NameNode
21486 ResourceManager
 
[root@slave bin]# ./jps
4849 DataNode
5012 NodeManager
5255 Jps
4943 ondaryNameNode