帶大家一起學(xué)習(xí)Hadoop CDH 3節(jié)點(diǎn)集群安裝

IT那活兒發(fā)布于2023-01-11 13:20 / 2491人閱讀

帶大家一起學(xué)習(xí)Hadoop CDH 3節(jié)點(diǎn)集群安裝

環(huán)境介紹

主機(jī)名 IP   角色
MASTER 192.168.0.64   Hadoop Master,CM Server,Data Node
SLAVE01  192.168.0.62   Data Node,MySQL,CM Agent
SLAVE02  192.168.0.63   Data Node,CM Agent

1. 更改三臺主機(jī) HOSTS 映射文件

▼▼▼
[root@SLAVE01 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.0.62  SLAVE01
192.168.0.63  SLAVE02
192.168.0.64  MASTER

2. 關(guān)閉系統(tǒng)防火墻，并禁止開機(jī)啟動

▼▼▼
[root@SLAVE01 ~]# service iptables stop
[root@SLAVE01 ~]# chkconfig iptables off

3. 關(guān)閉 selinux，并重啟

▼▼▼
[root@SLAVE01 ~]# cat /etc/selinux/config

SELINUX=disabled
SELINUXTYPE=targeted

4. 配置 ntpd 時間同步服務(wù)

在 MASTER 節(jié)點(diǎn)中的配置文件 /etc/ntp.conf 添加如下內(nèi)容：

server 127.127.1.0

在 SLAVE 節(jié)點(diǎn)中的配置文件添加如下內(nèi)容：

server 192.168.0.64 prefer

MASTER 節(jié)點(diǎn)開啟 ntpd 服務(wù)：

[root@MASTER ~]# service ntpd start

SLAVE 節(jié)點(diǎn)執(zhí)行如下命令：

▼▼▼
[root@SLAVE01 ~]# ntpdate master
 1 Apr 20:54:11 ntpdate[3467]: adjust time server 192.168.0.64 offset -0.000141 sec
 
[root@SLAVE01 ~]# service ntpd start
Starting ntpd: [ OK ]

[root@SLAVE01 ~]# ntpq -p
     remote           refid      st t when poll reach delay offset jitter
==============================================================================
 MASTER LOCAL(0) 6 u 12   64    1    0.823    0.135   0.000

5. 檢查節(jié)點(diǎn)主機(jī)參數(shù)配置

三臺節(jié)點(diǎn)追加如下參數(shù)，并立即生效：

▼▼▼
[root@SLAVE01 ~]# vim /etc/sysctl.conf 

vm.swappiness = 0

[root@SLAVE01 ~]# sysctl -p

[root@SLAVE01 ~]# echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag 
[root@SLAVE01 ~]# echo echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag >> /etc/rc.local

6. 確認(rèn) Python 環(huán)境

▼▼▼
[root@SLAVE01 ~]# python -V
Python 2.6.6

7. 安裝依賴包

▼▼▼
[root@MASTER ~]# rpm -q chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi
chkconfig-1.3.49.3-2.el6_4.1.x86_64
python-2.6.6-51.el6.x86_64
bind-utils-9.8.2-0.17.rc1.el6_4.6.x86_64
psmisc-22.6-15.el6_0.1.x86_64
libxslt-1.1.26-2.el6_3.1.x86_64
zlib-1.2.3-29.el6.x86_64
sqlite-3.6.20-1.el6.x86_64
cyrus-sasl-plain-2.1.23-13.el6_3.1.x86_64
cyrus-sasl-gssapi-2.1.23-13.el6_3.1.x86_64

8. 安裝 MySQL 數(shù)據(jù)庫存儲元數(shù)據(jù)信息

本集群將 MySQL 部署在 SLAVE01 節(jié)點(diǎn)上[_^strong:83925735!]將自帶的 MySQL 數(shù)據(jù)庫卸載

▼▼▼
[root@SLAVE01 ~]# rpm -qa | grep mysql
mysql-libs-5.1.71-1.el6.x86_64
mysql-5.1.71-1.el6.x86_64
mysql-devel-5.1.71-1.el6.x86_64

[root@SLAVE01 ~]# rpm -e mysql-devel-5.1.71-1.el6.x86_64
[root@SLAVE01 ~]# rpm -e mysql
[root@SLAVE01 ~]# rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64
[root@SLAVE01 ~]# rpm -qa | grep mysql

安裝 MySQL

▼▼▼
[root@SLAVE01 ~]# tar -xvf ./MySQL-5.6.27-1.el6.x86_64.rpm-bundle.tar
[root@SLAVE01 ~]# rpm -ivh MySQL-*.rpm

以下是 MySQL root 用戶的初始密碼

▼▼▼
[root@SLAVE01 ~]# cat /root/.mysql_secret 
# The random password set for the root user at Sun Apr 1 21:22:17 2018 (local time): KYFVIGg8KErbhsCE

啟動 MySQL

▼▼▼
[root@SLAVE01 ~]# /usr/bin/mysqld_safe &

更改 MySQL root 用戶的密碼

▼▼▼
[root@SLAVE01 ~]# mysql -uroot -p
Enter password: 
Welcome to the MySQL monitor. Commands end with ; or g.
Your MySQL connection id is 1
Server version: 5.6.27

Copyright (c) 2000, 2015, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type help; or h for help. Type c to clear the current input statement.

mysql> SET PASSWORD FOR root@localhost = PASSWORD(123456);
Query OK, 0 rows affected (0.00 sec)

創(chuàng)建需要用到的數(shù)據(jù)庫

▼▼▼
mysql> create database scm;
Query OK, 1 row affected (0.00 sec)

mysql> create database hive;
Query OK, 1 row affected (0.00 sec)

mysql> create database rm;
Query OK, 1 row affected (0.00 sec)

mysql> create database oozie;
Query OK, 1 row affected (0.00 sec)

創(chuàng)建集群用戶，并賦予相關(guān)權(quán)限

▼▼▼
mysql> CREATE USER cdh@% IDENTIFIED BY 123456;
Query OK, 0 rows affected (0.00 sec)

mysql> GRANT ALL ON *.* TO cdh@%;
Query OK, 0 rows affected (0.00 sec)

9. 在每臺節(jié)點(diǎn)中創(chuàng)建所需要的系統(tǒng)用戶

▼▼▼
[root@SLAVE01 ~]# useradd --system --home=/opt/cloudera-manager/cm-5.5.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

10. 在每臺節(jié)點(diǎn)中創(chuàng)建服務(wù)器所需目錄，并授權(quán)

▼▼▼
mkdir /opt/cloudera-manager
mkdir -p /opt/cloudera/parcel-repo
mkdir -p /opt/cloudera/parcels
mkdir -p /var/log/cloudera-scm-headlamp
mkdir -p /var/log/cloudera-scm-firehose
mkdir -p /var/log/cloudera-scm-alertpublisher
mkdir -p /var/log/cloudera-scm-eventserver
mkdir -p /var/lib/cloudera-scm-headlamp
mkdir -p /var/lib/cloudera-scm-firehose
mkdir -p /var/lib/cloudera-scm-alertpublisher
mkdir -p /var/lib/cloudera-scm-eventserver
mkdir -p /var/lib/cloudera-scm-server

chown cloudera-scm:cloudera-scm /opt/cloudera-manager
chown -R cloudera-scm:cloudera-scm /var/log/cloudera-*
chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-*
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

11. 在每臺節(jié)點(diǎn)中安裝 Cloudera Manager

▼▼▼
[root@SLAVE01 ~]# tar -xzf cloudera-manager-el6-cm5.5.0_x86_64.tar.gz -C /opt/cloudera-manager
[root@SLAVE01 ~]# chown cloudera-scm:cloudera-scm /opt/cloudera-manager

將 MySQL JDBC 驅(qū)動拷貝至對應(yīng)目錄中

▼▼▼
[root@SLAVE01 ~]# mkdir -p /usr/share/java
[root@SLAVE01 ~]# cp mysql-connector-java-5.1.38.jar /usr/share/java/
[root@SLAVE01 ~]# mkdir -p /usr/lib/hive/lib/
[root@SLAVE01 ~]# cp mysql-connector-java-5.1.38.jar /usr/lib/hive/lib/

12. 在每臺節(jié)點(diǎn)中安裝 JDK

▼▼▼
[root@SLAVE01 ~]# rpm -ivh jdk-7u80-linux-x64.rpm

在 /etc/profile 中配置 java 環(huán)境變量，并立即生效

▼▼▼
[root@SLAVE01 ~]# vim /etc/profile

export JAVA_HOME=/usr/java/default
export CLASS_PATH=./:$JAVA_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH

[root@SLAVE01 ~]# source /etc/profile

檢查 jdk 是否安裝成功

▼▼▼
[root@SLAVE01 ~]# java -version
java version "1.7.0_80"
Java(TM) SE Runtime Environment (build 1.7.0_80-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)

13. 在 MASTER 節(jié)點(diǎn)初始化 CM 的配置數(shù)據(jù)庫

▼▼▼
[root@MASTER ~]# cd /opt/cloudera-manager/cm-5.5.0/share/cmf/schema/
[root@MASTER schema]# ./scm_prepare_database.sh -h SLAVE01 -P 3306 mysql scm cdh 123456

14. 在每臺 SLAVE 節(jié)點(diǎn)配置 Cloudera Manager Agent

▼▼▼
[root@SLAVE01 ~]# cd /opt/cloudera-manager/cm-5.5.0/etc/cloudera-scm-agent/
[root@SLAVE01 cloudera-scm-agent]# vim config.ini

修改為對應(yīng)的 CM Server 所在的節(jié)點(diǎn)

server_host=MASTER

15. 在 CM Server 節(jié)點(diǎn)中將 Parcel 文件移動至指定目錄

▼▼▼
[root@MASTER ~]# mv CDH-5.5.0-1.cdh5.5.0.p0.8-el6.parcel /opt/cloudera/parcel-repo/
[root@MASTER ~]# mv manifest.json /opt/cloudera/parcel-repo/
[root@MASTER ~]# mv CDH-5.5.0-1.cdh5.5.0.p0.8-el6.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.5.0-1.cdh5.5.0.p0.8-el6.parcel.sha

16. 啟動 CM Server 和 CM Agent

啟動 CM Server

▼▼▼
[root@MASTER ~]# /opt/cloudera-manager/cm-5.5.0/etc/init.d/cloudera-scm-server start
Starting cloudera-scm-server: [ OK ]

啟動 CM Agent

▼▼▼
[root@MASTER ~]# /opt/cloudera-manager/cm-5.5.0/etc/init.d/cloudera-scm-agent start
Starting cloudera-scm-agent:                               [ OK ]

[root@SLAVE01 cloudera-scm-agent]# /opt/cloudera-manager/cm-5.5.0/etc/init.d/cloudera-scm-agent start
Starting cloudera-scm-agent:                               [ OK ]

[root@SLAVE02 ~]# /opt/cloudera-manager/cm-5.5.0/etc/init.d/cloudera-scm-agent start
Starting cloudera-scm-agent:                               [ OK ]

17. 登錄 CM 管理界面

http://master:7180/cmf/home

默認(rèn)用戶名密碼 admin/admin

版本可選擇 Cloudera Enterprise Data Hub Edition Trial ，試用期60天過后，自動降為 Express 版本。

在當(dāng)前管理的主機(jī)界面中，可以看到三個節(jié)點(diǎn) MASTER、SLAVE01、SLAVE02。

在組件安裝選擇界面，選擇含Impala的內(nèi)核即可。

組件規(guī)劃上，由于是測試環(huán)境，因此 DataNode 選擇所有主機(jī)。

數(shù)據(jù)庫安裝界面，規(guī)劃如下：

▼▼▼
SLAVE01  DB Name:hive  Username:cdh  Password:123456
SLAVE01  DB Name:rm  Username:cdh  Password:123456
SLAVE01  DB Name:oozie  Username:cdh  Password:123456

18. 遇到的問題

集群搭建結(jié)束之后，出現(xiàn)了 Network Interface Speed 問題，應(yīng)該是網(wǎng)絡(luò)接口速度導(dǎo)致的，修改了相關(guān)配置之后，避免了該問題。

▼▼▼
Change Hosts Network Interfaces Slow Link Modes Thresholds for all hosts.

將其修改為 Nerver 即可。

19. 關(guān)閉集群

▼▼▼
[root@MASTER ~]# /opt/cloudera-manager/cm-5.5.0/etc/init.d/cloudera-scm-agent stop
Stopping cloudera-scm-agent:                               [ OK ]
[root@MASTER ~]# /opt/cloudera-manager/cm-5.5.0/etc/init.d/cloudera-scm-server stop
Stopping cloudera-scm-server: [ OK ]

[root@SLAVE01 ~]# /opt/cloudera-manager/cm-5.5.0/etc/init.d/cloudera-scm-agent stop
Stopping cloudera-scm-agent:                               [ OK ]

[root@SLAVE02 ~]# /opt/cloudera-manager/cm-5.5.0/etc/init.d/cloudera-scm-agent stop
Stopping cloudera-scm-agent:                               [ OK ]

END

更多精彩干貨分享

點(diǎn)擊下方名片關(guān)注

IT那活兒

GPU云服務(wù)器云服務(wù)器 cdh hadoop 離線安裝大家一起 webrtc 實(shí)現(xiàn)大家一起寫 hadoop集群安裝

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://specialneedsforspecialkids.com/yun/129922.html

發(fā)表評論

登陸后可評論

0條評論

IT那活兒

男|高級講師

我要關(guān)注我要私信

TA的文章

消息中間件故障分析一例

閱讀 1346·2023-01-11 13:20
RAC雙節(jié)點(diǎn)crash回復(fù)一例

閱讀 1684·2023-01-11 13:20
ORA-600處理一例

閱讀 1132·2023-01-11 13:20
雙節(jié)點(diǎn)RAC實(shí)例2 HANG 故障分析一例

閱讀 1858·2023-01-11 13:20
RAC集群節(jié)點(diǎn)1重啟分析一例

閱讀 4100·2023-01-11 13:20
CRS啟動報錯CRS-1656處理分享

閱讀 2704·2023-01-11 13:20
oracle 12CR2打補(bǔ)丁報錯處理一例

閱讀 1385·2023-01-11 13:20
分布式緩存組件故障分析及監(jiān)控優(yōu)化

閱讀 3597·2023-01-11 13:20

国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

帶大家一起學(xué)習(xí)Hadoop CDH 3節(jié)點(diǎn)集群安裝

1. 更改三臺主機(jī) HOSTS 映射文件

2. 關(guān)閉系統(tǒng)防火墻，并禁止開機(jī)啟動

3. 關(guān)閉 selinux，并重啟

4. 配置 ntpd 時間同步服務(wù)

5. 檢查節(jié)點(diǎn)主機(jī)參數(shù)配置

6. 確認(rèn) Python 環(huán)境

7. 安裝依賴包

8. 安裝 MySQL 數(shù)據(jù)庫存儲元數(shù)據(jù)信息

9. 在每臺節(jié)點(diǎn)中創(chuàng)建所需要的系統(tǒng)用戶

10. 在每臺節(jié)點(diǎn)中創(chuàng)建服務(wù)器所需目錄，并授權(quán)

11. 在每臺節(jié)點(diǎn)中安裝 Cloudera Manager

12. 在每臺節(jié)點(diǎn)中安裝 JDK

13. 在 MASTER 節(jié)點(diǎn)初始化 CM 的配置數(shù)據(jù)庫

14. 在每臺 SLAVE 節(jié)點(diǎn)配置 Cloudera Manager Agent

15. 在 CM Server 節(jié)點(diǎn)中將 Parcel 文件移動至指定目錄

16. 啟動 CM Server 和 CM Agent

17. 登錄 CM 管理界面

默認(rèn)用戶名密碼 admin/admin

18. 遇到的問題

19. 關(guān)閉集群

相關(guān)文章

docker安裝cdh

發(fā)表評論

0條評論

IT那活兒

男|高級講師

TA的文章

消息中間件故障分析一例

RAC雙節(jié)點(diǎn)crash回復(fù)一例

ORA-600處理一例

雙節(jié)點(diǎn)RAC實(shí)例2 HANG 故障分析一例

RAC集群節(jié)點(diǎn)1重啟分析一例

CRS啟動報錯CRS-1656處理分享

oracle 12CR2打補(bǔ)丁報錯處理一例

分布式緩存組件故障分析及監(jiān)控優(yōu)化

最新活動

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

帶大家一起學(xué)習(xí)Hadoop CDH 3節(jié)點(diǎn)集群安裝

1. 更改三臺主機(jī) HOSTS 映射文件

2. 關(guān)閉系統(tǒng)防火墻，并禁止開機(jī)啟動

3. 關(guān)閉 selinux，并重啟

4. 配置 ntpd 時間同步服務(wù)

5. 檢查節(jié)點(diǎn)主機(jī)參數(shù)配置

6. 確認(rèn) Python 環(huán)境

7. 安裝依賴包

8. 安裝 MySQL 數(shù)據(jù)庫存儲元數(shù)據(jù)信息

9. 在每臺節(jié)點(diǎn)中創(chuàng)建所需要的系統(tǒng)用戶

10. 在每臺節(jié)點(diǎn)中創(chuàng)建服務(wù)器所需目錄，并授權(quán)

11. 在每臺節(jié)點(diǎn)中安裝 Cloudera Manager

12. 在每臺節(jié)點(diǎn)中安裝 JDK

13. 在 MASTER 節(jié)點(diǎn)初始化 CM 的配置數(shù)據(jù)庫

14. 在每臺 SLAVE 節(jié)點(diǎn)配置 Cloudera Manager Agent

15. 在 CM Server 節(jié)點(diǎn)中將 Parcel 文件移動至指定目錄

16. 啟動 CM Server 和 CM Agent

17. 登錄 CM 管理界面

默認(rèn)用戶名密碼 admin/admin

18. 遇到的問題

19. 關(guān)閉集群

相關(guān)文章

發(fā)表評論

0條評論

男|高級講師

TA的文章

最新活動

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

2. 關(guān)閉系統(tǒng)防火墻，并禁止開機(jī)啟動

3. 關(guān)閉 selinux，并重啟

10. 在每臺節(jié)點(diǎn)中創(chuàng)建服務(wù)器所需目錄，并授權(quán)