基于Docker搭建Hadoop集群之升級版

Zoom 發布于2019-06-28 15:13 / 3457人閱讀

摘要：總之，項目還算很受歡迎吧，這篇博客將介紹項目的升級版。一項目介紹將打包到鏡像中，就可以快速地在單個機器上搭建集群，這樣可以方便新手測試和學習。之前的版本使用為集群提供服務，由于網絡功能更新，現在并不需要了。運行參考第二部分啟動，并運行。

摘要: kiwenlau/hadoop-cluster-docker是去年參加Docker巨好玩比賽開發的，得了二等獎并贏了一塊蘋果手表，目前這個項目已經在GitHub上獲得了236個Star，DockerHub的鏡像下載次數2000+。總之，項目還算很受歡迎吧，這篇博客將介紹項目的升級版。

一. 項目介紹

將Hadoop打包到Docker鏡像中，就可以快速地在單個機器上搭建Hadoop集群，這樣可以方便新手測試和學習。

如下圖所示，Hadoop的master和slave分別運行在不同的Docker容器中，其中hadoop-master容器中運行NameNode和ResourceManager，hadoop-slave容器中運行DataNode和NodeManager。NameNode和DataNode是Hadoop分布式文件系統HDFS的組件，負責儲存輸入以及輸出數據，而ResourceManager和NodeManager是Hadoop集群資源管理系統YARN的組件，負責CPU和內存資源的調度。

之前的版本使用serf/dnsmasq為Hadoop集群提供DNS服務，由于Docker網絡功能更新，現在并不需要了。更新的版本中，使用以下命令為Hadoop集群創建多帶帶的網絡:

sudo docker network create --driver=bridge hadoop

然后在運行Hadoop容器時，使用"--net=hadoop"選項，這時所有容器將運行在hadoop網絡中，它們可以通過容器名稱進行通信。

項目更新要點：

去除serf/dnsmasq

合并Master和Slave鏡像

使用kiwenlau/compile-hadoop項目編譯的Hadoo進行安裝

優化Hadoop配置

二. 3節點Hadoop集群搭建步驟 1. 下載Docker鏡像

sudo docker pull kiwenlau/hadoop:1.0

2. 下載GitHub倉庫

git clone https://github.com/kiwenlau/hadoop-cluster-docker

3. 創建Hadoop網絡

sudo docker network create --driver=bridge hadoop

4. 運行Docker容器

cd hadoop-cluster-docker
./start-container.sh

運行結果

start hadoop-master container...
start hadoop-slave1 container...
start hadoop-slave2 container...
root@hadoop-master:~#

啟動了3個容器，1個master, 2個slave

運行后就進入了hadoop-master容器的/root目錄

5. 啟動hadoop

./start-hadoop.sh

6. 運行wordcount

./run-wordcount.sh

運行結果

input file1.txt:
Hello Hadoop
input file2.txt:
Hello Docker
wordcount output:
Docker    1
Hadoop    1
Hello    2

Hadoop網頁管理地址:

NameNode: http://192.168.59.1:50070/

ResourceManager: http://192.168.59.1:8088/

192.168.59.1為運行容器的主機的IP。

三. N節點Hadoop集群搭建步驟 1. 準備

參考第二部分1~3：下載Docker鏡像，下載GitHub倉庫，以及創建Hadoop網絡

2. 重新構建Docker鏡像

./resize-cluster.sh 5

可以指定任意N(N>1)

3. 啟動Docker容器

./start-container.sh 5

與第2步中的N保持一致。

4. 運行Hadoop

參考第二部分5~6：啟動Hadoop，并運行wordcount。

參考

基于Docker搭建多節點Hadoop集群

How to Install Hadoop on Ubuntu 13.10

版權聲明
轉載時請注明作者KiwenLau以及本文地址：
http://kiwenlau.com/2016/06/12/160612-hadoop-cluster-docker-update/

USDP大數據平臺 hadoop 集群搭建搭建hadoop集群 hadoop集群搭建 hadoop集群環境搭建

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/26606.html

基于Docker搭建多節點Mesos/Marathon

摘要：摘要在之前的一篇博客中，我介紹了基于搭建單機版，但是僅僅使用了單個節點。具有容錯功能當容器由于節點崩潰等原因意外停止運行時，會自動將容器調度到其他節點。因此，目前僅適合運行無狀態的服務，而數據庫等有狀態服務應該單獨部署。摘要: 在之前的一篇博客中，我介紹了基于Docker搭建單機版Mesos/Marathon，但是僅僅使用了單個節點。而在這篇博客中，我將介紹基于Docker搭建多節點...

ConardLi 2019-06-28 15:16 評論0 收藏0
Docker搭建Hadoop集群

摘要：搭建集群首先搭建環境版本大于安裝主機監控程序和加速器這里使用了的版本，因為安裝方便放開更改放開配置配置配置配置配置配置文件追加配置和在文件第一行中添加測試鏈接文件 Docker搭建Hadoop集群首先搭建Docker環境,Docker版本大于1.3.2 安裝主機監控程序和加速器(curl -sSL https://get.daocloud.io/daomonit/install.s...

Yu_Huang 2019-06-28 15:02 評論0 收藏0
hadoop-yarn、內核資源隔離、虛擬化

本篇本意是介紹hadoop的部署資源隔離和調度方案yarn。順便介紹了容器和容器集群管理。說回yarn隔離分為cpu和內存，cpu基于cgroups,內存自行實現計算ru_maxrss。還對比了k8n的隔離，它內存和cpu都基于cgroups。在調度方面介紹了yarn的兩種調度機制Capacity Scheduler和Fair Scheduler。整體：https://segmentfault.c...

fsmStudy 2019-07-01 17:39 評論0 收藏0