国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

超詳細hadoop集群服務器安裝配置教程

iamyoung001 / 1315人閱讀

摘要:超詳細集群服務器安裝配置教程虛擬機以及系統安裝在之前的兩篇分享中已經詳細的介紹了方法,并且每一步的都配圖了。物理集群三臺及以上實體服務器外網下載模式本地文件模式將安裝包文件直接拷貝到實體服務器目錄下,進行安裝操作即可。

超詳細hadoop集群服務器安裝配置教程
虛擬機以及Linux系統安裝在之前的兩篇分享中已經詳細的介紹了方法,并且每一步的都配圖了。如果有朋友還是看不懂,那我也愛莫能助了。本篇主要就hadoop服務器操作系統配置進行詳細說明,hadoop安裝會在下一篇文章中詳細的介紹。
hadoop安裝包用的是大快DKHadoop發行版,個人覺得DKHadoop的安裝過程是比較簡單,關于dkhadoop的安裝在下一次的分享中再詳細介紹吧。下面進入到本篇的主題——服務器操作系統配置教程

一、安裝包準備
1、虛擬機分布式安裝(三臺及以上虛擬機)
若是個人電腦Windows系統或Linux系統,虛擬機上虛擬的三臺服務器,則將安裝包拷貝到服務器上,進行安裝操作即可。
2、物理集群(三臺及以上實體服務器)
1、 外網下載模式
2、 本地文件模式
將安裝包文件直接拷貝到實體服務器root目錄下,進行安裝操作即可。
3、上傳模式
當服務器在機房,且無顯示和輸入設備的情況下,應用該模式。
現將文件,安裝在本地計算機上(默認為筆記本電腦,在機房現場),并將計算機與服務器連接,將安裝包install、DKHInstall上傳到服務器root目錄下。

二、服務器操作系統配置教程
準備工作完成之后,就要進行服務器配置操作,首先必須三臺服務器之間要互相ping通。所謂ping通,就是兩臺設備之間網絡是通的。從一端發送一個數據包,另一端就能夠收到,就代表兩臺設備是能夠ping通了。
1、修改權限
目的:使install、DKHInstall兩個安裝包有可執行的權限。權限不足無法執行一些操作。install里面是腳本和所有組件,DKHInstall里面是安裝界面。
步驟:在準備工作中拷貝安裝包 install、DKHInstall到主節點目錄后,修改文件權限。首先進入root目錄,安裝目錄 install、DKHInstall的權限改為:文件所有者可讀可寫可執行,與文件所有者屬于一個用戶組的其他用戶可讀可執行,其他用戶組可讀可執行。
命令:
cd /root/
unzip DKHPlantform.zip
chmod -R 755 DKHPlantform

2、 搭建Hadoop集群設置SSH免密登錄
目的:Hadoop運行過程中需要管理遠端Hadoop守護進程,在Hadoop啟動以后,NameNode是通過SSH(Secure Shell)來啟動和停止各個DataNode上的各種守護進程的。這就必須在節點之間執行指令的時候是不需要輸入密碼的形式,所以我們需要配置SSH運用無密碼公鑰認證的形式,這樣NameNode使用SSH無密碼登錄并啟動DataName進程,同樣原理,DataNode上也能使用SSH無密碼登錄到NameNode。
步驟:
(1)修改本機hosts文件,寫入對應關系
為了區分局域網內的每臺主機,都會給主機配一個主機名,每臺主機之間又是通過IP進行通信,但IP地址不方便記憶,所以配置主機名和IP映射能夠實現主機之間的快速方便的訪問。
命令:
vi /etc/hosts
通過按鍵盤上的insert或是I鍵進入編輯模式,編輯完成后按一下Esc鍵然后按一下按Shift+: 鍵,輸入wq,后回車就可以保存。輸入q!后回車則是放棄保存并退出.
進入編輯模式后,按照規則寫入主機與ip的對應關系(主機名稱dk41是自己命名的,如下圖)例:

   192.168.1.41    dk41

192.168.1.42 dk42
192.168.1.43 dk43

編輯完后,保存退出。把對應關系拷到其他兩臺或多臺機器上。
命令:
scp -r /etc/hosts 192.168.1.42:/etc
scp -r /etc/hosts 192.168.1.43:/etc
(2)執行集群之間免密前的準備工作
執行sshpass.sh的腳本的時候會去讀sshhosts和sshslaves這兩個文件,替換
修改文件sshhosts,輸入全部機器的主機名,每行一個主機名(如下圖)
命令:
vi /root/DKHPlantform/autossh/sshhosts
通過按鍵盤上的insert或是I鍵進入編輯模式,編輯完成后按一下Esc鍵然后按一下按Shift+:鍵,輸入wq,后回車就可以保存。輸入q!后回車則是放棄保存并退出.

修改文件sshslaves,寫入除主機名之外的所有機器名(如下圖)
命令:
vi /root/DKHPlantform/autossh/sshslaves
通過按鍵盤上的insert或是I鍵進入編輯模式,編輯完成后按一下Esc鍵然后按一下按Shift+:鍵,輸入wq,后回車就可以保存。輸入q!后回車則是放棄保存并退出.

(3)執行集群免密工作
命令:
cd /root/DKHPlantform/autossh
./autossh 主節點主機名 集群密碼
例: ./autossh dk41 123456
(4)關閉防火墻
防止訪問服務器時某些服務被攔截,需關閉防火墻。
命令:
cd /root/DKHPlantform/autossh
./offIptables.sh

3、 安裝雙機熱備份的MySQL
目的:存放Hive的元數據
步驟:
(1)從主節點分發mySQL安裝目錄到第二節點
命令:
scp -r /root/DKHPlantform/mysqlInst/ 192.168.1.42:/root/
(2)主節點執行:
命令:
cd /root/DKHPlantform/mysqlInst/
./mysql.sh 1
從節點執行:
命令:
cd /root/mysqlInst/
./mysql.sh 2

(3)執行成功之后執行熱備份(兩臺機器上都要執行,兩個ip互換,41上寫42,42上寫41,密碼是MySQL的密碼為:123456。平臺內已經設定好,請勿修改):
命令:
source /etc/profile
./sync.sh 192.168.1.xxx(另一臺mysql地址)
4、 創建數據庫
目的:MySQL是一種關聯數據庫管理系統,關聯數據庫將數據保存在不同的表中,增加了速度并提高了靈活性。
步驟:
(1)導入MySQL數據表,只在主節點執行:
命令:
mysql -uroot -p123456 < { 此處為sql文件,主目錄下文件: dkh.sql}
如:mysql -uroot -p123456 (2)執行完后查看一下兩臺mysql的數據表是否存在,從主節點中查看執行:
命令:
mySQL -uroot -p123456
show databases;
use dkh;
show tables;

5、啟動安裝
目的:服務器配置操作完成之后,啟動DKH。
步驟:執行以下命令。
命令:
cd /root/DKHPlantform/dkh-tomcat*/bin/
./startup.sh
6、本地時間服務器搭建步驟
沒聯網或者裝系統時時間未同步,需要搭建本地時間服務器。
(1)搭建內網的ntp服務器
修改/etc/ntp.conf
命令:
Vim /etc/ntp.conf
通過按鍵盤上的insert或是I鍵進入編輯模式,編輯完成后按一下Esc鍵然后按一下按Shift+:鍵,輸入wq后回車就可以保存。輸入q!后回車則是放棄保存并退出.
修改下列三行:

server 0.centos.pool.ntp.org server 1.centos.pool.ntp.org server 2.centos.pool.ntp.org

在文件最后添加下列兩行:
server 127.127.1.0
fudge 127.127.1.0 stratum 10
(2)啟動ntp服務
service ntpd start
(3)開機自動啟動
chkconfig ntpd on
(4)客戶端同步時間
命令:
Vim /etc/ntp.conf
通過按鍵盤上的insert或是I鍵進入編輯模式,編輯完成后按一下Esc鍵然后按一下按Shift+:鍵,輸入wq,后回車就可以保存。輸入q!后回車則是放棄保存并退出.
在文件最后添加一行:
/15 * root ntpdate 192.168.27.35;hwclock -w

文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。

轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/71887.html

相關文章

  • Hadoop新手篇:hadoop入門基礎教程

    摘要:新手篇入門基礎教程關于的分享此前一直都是零零散散的想到什么就寫什么,整體寫的比較亂吧。上兩周寫的五篇內容,匯總到一起就算是新手入門的一個基礎性教程吧持續更新中。應該在改版完成后就可以正常申請下載了。 Hadoop新手篇:hadoop入門基礎教程關于hadoop的分享此前一直都是零零散散的想到什么就寫什么,整體寫的比較亂吧。最近可能還算好的吧,畢竟花了兩周的時間詳細的寫完的了hadoop...

    levinit 評論0 收藏0
  • 詳細Dkhadoop虛擬機安裝圖文教程

    摘要:超詳細虛擬機安裝圖文教程前兩天看到有人留言問在什么情況下需要部署,我給的回答也很簡單,就是在需要處理海量數據的時候才需要考慮部署。圖圖為虛擬機命名,如下圖,命名按照自己喜歡即可,點擊下一步進行處理器配置。 超詳細Dkhadoop虛擬機安裝圖文教程前兩天看到有人留言問在什么情況下需要部署hadoop,我給的回答也很簡單,就是在需要處理海量數據的時候才需要考慮部署hadoop。關于這個問題...

    ChanceWong 評論0 收藏0
  • 實用貼:hadoop系統下載安裝教程

    摘要:實用貼系統下載安裝教程在前幾篇的文章中分別就虛擬系統安裝系統安裝以及運行服務器的設置等內容寫了詳細的操作教程,本篇分享的是的下載安裝步驟。我讓他們去下載安裝試一下,至于后來試沒試就不得而知了。 實用貼:hadoop系統下載安裝教程在前幾篇的文章中分別就虛擬系統安裝、LINUX系統安裝以及hadoop運行服務器的設置等內容寫了詳細的操作教程,本篇分享的是hadoop的下載安裝步驟。在此之...

    BenCHou 評論0 收藏0

發表評論

0條評論

iamyoung001

|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<