CDH5.5.1環境部署
點擊上方“IT那活兒”公眾號，關注后了解更多內容，不管IT什么活兒，干就完了！！！Hadoop采用的是Cloudera公司（hadoop的分發商）的CDH5版本。操作系統為Centos 6.5版本。
Hadoop安裝采用YUM安裝的方式。由于大多數安裝hadoop的設備都在內網環境中，所以需要配置自定義的YUM軟件源。Hadoop是一個分布式的系統，由多臺設備共同提供服務。
每臺設備上需要安裝不同的hadoop服務。部署規劃階段根據hadoop服務特點和設備配置情況，對hadoop服務的安裝情況作出整體規劃，將hadoop相應的服務安裝在合適的設備上。
上圖展示了hadoop的服務以及運行過程中需要的系統服務。
- NFS Server和DNS Server可以不使用，不使用不會影響hadoop正常運行。NFS Server會防止數據丟失；DNS Server會降低配置的復雜度，尤其在設備數量較多的時候。
- DataNode所在設備需要掛載多個磁盤，提高數據寫入和讀取數據。DataNode不要和NameNode、SecondaryNameNode、ResourceManager、Standby NameNode、Standby ResourceManager安裝在同一臺設備上。
- NameNode、SecondaryNameNode、ResourceManager可以安裝在一臺設備上。這樣會消耗設備較多的硬件資源。
- 使用NameNode的HA方式就不需要安裝SecondaryNameNode。Standby NameNode不能和NameNode安裝在一臺設備上。
- ResourceManagerHA方式中Standby ResourceManager不能和ResourceManager安裝在一臺設備上。
- 安裝服務器和管理監控服務可以和其他服務共享一臺設備。
此時應該對hadoop的安裝情況作出規劃。hadoop一旦被部署完成，結構的調整將會很難進行而且有一定的風險。1. 安裝操作系統
在運行hadoop服務的每臺設備上安裝linux操作系統。操作系統使用Centos6.5的64位操作系統。所有設備的操作系統要求一致。操作系統安裝完成后，對設備進行網絡配置，使得各個設備之間的網絡通暢。使用IPv4的IP地址格式。在設備上掛載磁盤。在DataNode設備上掛載大容量的磁盤，最好一個設備上掛載多塊磁盤。最好能夠在NameNode、SecondaryNameNode設備掛載NFS磁盤系統。管理監控服務也許一定的磁盤空間，大約需要50G的磁盤空間。
2. 設置主機名稱
Hadoop服務是通過主機名稱進行網絡通訊的。安裝hadoop服務的設備都需要設置主機名稱。 編輯/etc/sysconfig/network文件的HOSTNAME設置主機名。
3. 時鐘同步設置
hadoop服務的設備之間要保持時間一致。設置統一時鐘同步服務。每個設備上要啟動ntpd服務，啟動ntpd之前，每個設備先做一次手動的同步操作。
4. 關閉防火墻
hadoop服務安裝的所有設備上都要關閉防火墻設置。service iptables stop
chgconfig iptables off
5. 關閉SeLinux
6. 設置主機路由
在hadoop服務的設備上設置主機名與IP地址路由，確保任意兩個設置之間能夠通過主機名能夠進行訪問。或者可以選擇設置設備的DNS為指定的DNS Server。建議使用DNS Server設置設備的DNS路由。
7. 設置root密碼
安裝過程中使用root用戶安裝，需要設置所有設備root用戶的密碼為相同的密碼。該密碼是在安裝的過程中使用，如果結束后可以修改該密碼。
8. 設置自定義YUM軟件源服務
在安裝服務器上設置自定義YUM軟件源。以下操作在安裝服務器上進行：
- 安裝系統組件：createrepo。在操作系統安裝介質中的Packages目錄下找到createrepo-0.9.9-18.el6.noarch安裝包使用rpm命令安裝。
- 將安裝介質中的cdh5目錄復制到設備的/var/www/html目錄下面。
- 將安裝介質中的cmd5目錄復制到設備的/var/www/html目錄下面。
- 將操作系統安裝介質的Packages目錄復制到/var/www/html/os目錄下面。Packages目錄是操作系統的介質包CentOS-6.5-x86_64-bin-DVD1.iso 中的Packages：
- 進入/var/www/html/cdh5目錄，執行命令
- 進入/var/www/html/cm5目錄，執行命令
- 進入/var/www/html/os目錄，執行命令
- 啟動http服務：service httpd start
9. 設置自定義YUM軟件源
在hadoop所有服務設備上設置安裝服務器為自定義YUM軟件源。1）進入/etc/yum.repos.d目錄，創建hadoop.repo文件，編輯該文件：2）將/etc/yum.repos.d目錄中的其它的.repo文件（hadoop.repo之外的文件）刪除或者后綴名改為.bak
10. 重啟設備
如果安裝服務器上的http服務沒有設置開機啟動，還需要在安裝服務器上啟動http服務：service httpd start1. 安裝Cloudera Manager
將介質中cloudera-manager-installer.bin文件復制到安裝監控服務器的/opt目錄中，然后執行下面的命令：./cloudera-manager-installer.bin --skip_repo_package=1
執行命令后，會出現Cloudera Manager的安裝向導：Cloudera Manager安裝結束后，出現提示界面。記下提示中的URL。2. 安裝部署CDH
在瀏覽器地址欄中輸入Cloudera Manager提示界面中的URL：http://192.168.XX.35:7180使用admin用戶登錄Cloudera Manager，admin用戶的初始密碼為：admin指定集群中hadoop使用的所有主機。輸入主機名或者IP地址，每行一個，然后點擊搜索：- CDH版本：自定義存儲庫，輸入自定義YUM軟件源的cdh的url。
- Clouera Manager Agent：自定義存儲庫，輸入自定義YUM軟件源的cm的url。
使用root用戶安裝，所有主機的root用戶接受相同密碼，輸入root用戶的密碼。選擇安裝的服務類型。自定義服務中選擇HDFS和YARN。選擇主機設備將被安裝的服務。根據前期的部署規劃將hadoop服務安裝在對應的主機設備中。其中Cloudera Management Service安裝在安裝監控服務器中。使用嵌入式數據庫，用來存儲Cloudera Manager的元數據。集群配置的Cloudera Management Service的配置使用默認即可。HDFS和YARN配置：
- DataNode數據目錄：配置數據的存儲目錄。如果是多個磁盤，配置多個路徑。路徑之間使用逗號（,）分隔。
- NameNode數據目錄：是NameNode的元數據的保存目錄，可以是多個目錄。每個目錄中寫入相同的數據用于備份。多個目錄路勁使用逗號分隔。多個目錄中最好有一個是NFS系統的目錄用于備份。
- HDFS檢查點目錄：是SecondaryNameNode用戶合并元數據的工作目錄。也可以是多個目錄，多個目錄路徑是有逗號分隔。
- NodeManager本地目錄列表：MapReduce計算的中間結果的存儲目錄。可以配置多個目錄多個目錄路徑是有逗號分隔。
注意：上述配置的路徑會在多個設備上創建相同的目錄，需要先在每個設備上創建相同目錄，而且創建的目錄能夠掛載到存儲。
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129357.html
