基于Docker快速搭建多節點Hadoop集群
原文 http://dockone.io/article/395
一. 項目簡介
GitHub地址： https://github.com/kiwenlau/hadoop-cluster-docker
博客地址： http://www.cnblogs.com/kiwenlau/p/4524607.html
作者：KiwenLau
Email: kiwenlau@126.com
直接用機器搭建Hadoop集群是一個相當痛苦的過程，尤其對初學者來說。他們還沒開始跑wordcount，可能就被這個問題折騰的體無完膚了....而且也不是每個人都有好幾臺機器對吧...你可以嘗試用多個虛擬機搭建...前提是你有個性能杠杠的機器...
我的目標是將Hadoop集群運行在Docker容器中，使Hadoop開發者能夠快速便捷地在本機搭建多節點的Hadoop集群。其實這個想 法已經有了不少實現，但是都不是很理想，他們或者鏡像太大，或者使用太慢，或者使用了第三方工具使得使用起來過于復雜...下表為一些已知的Hadoop on Docker項目以及其存在的問題。
項目 鏡像大小 問題
sequenceiq/hadoop-docker:latest 1.491GB 鏡像太大，只支持單個節點
sequenceiq/hadoop-docker:2.7.0 1.76 GB
sequenceiq/hadoop-docker:2.60 1.624GB
sequenceiq/ambari:latest 1.782GB 鏡像太大，使用太慢，使用第三方工具，增加了復雜度
sequenceiq/ambari:2.0.0 4.804GB
sequenceiq/ambari:latest:1.70 4.761GB
alvinhenrick/hadoop-mutinode 4.331GB 鏡像太大，構建時間太慢，增加節點麻煩，有bug
我的項目參考了alvinhenrick/hadoop-mutinode項目，不過我做了大量的優化和重構。alvinhenrick/hadoop-mutinode項目的Github主頁以及作者所寫的博客地址如下：
https://github.com/alvinhenrick/hadoop-mutinode
http://alvinhenrick.com/2014/0 ... cker/
下面兩個表是alvinhenrick/hadoop-mutinode項目與我的kiwenlau/hadoop-cluster-docker項目的參數對比
鏡像名稱 構建時間 鏡像層數 鏡像大小
alvinhenrick/serf 258.213s 21 239.4MB
alvinhenrick/hadoop-base 2236.055s 58 4.328GB
alvinhenrick/hadoop-dn 51.959s 74 4.331GB
alvinhenrick/hadoop-nn-dn 49.548s 84 4.331GB
鏡像名稱 構建時間 鏡像層數 鏡像大小
kiwenlau/serf-dnsmasq 509.46s 8 206.6 MB
kiwenlau/hadoop-base 400.29s 7 775.4 MB
kiwenlau/hadoop-master 5.41s 9 775.4 MB
kiwenlau/hadoop-slave 2.41s 8 775.4 MB
可知，我主要優化了這樣幾點
更小的鏡像大小
更快的構造時間
更少的鏡像層數
更快更方便地改變Hadoop集群節點數目
另外，alvinhenrick/hadoop-mutinode項目增加節點時需要手動修改Hadoop配置文件然后重新構建hadoop- nn-dn鏡像,然后修改容器啟動腳本，才能實現增加節點的功能。而我通過shell腳本實現自動話，不到1分鐘可以重新構建hadoop-master 鏡像，然后立即運行！！！本項目默認啟動3個節點的Hadoop集群，支持任意節點數的hadoop集群。
另外，啟動hadoop, 運行wordcount以及重新構建鏡像都采用了shell腳本實現自動化。這樣使得整個項目的使用以及開發都變得非常方便快捷:)
開發測試環境
操作系統：ubuntu 14.04 和 ubuntu 12.04
內核版本: 3.13.0-32-generic
Docker版本：1.5.0 和1.6.2
小伙伴們，硬盤不夠，內存不夠，尤其是內核版本過低會導致運行失敗...
二. 鏡像簡介
本項目一共開發了4個鏡像
serf-dnsmasq
hadoop-base
hadoop-master
hadoop-slave
serf-dnsmasq鏡像
基于ubuntu:15.04 (選它是因為它最小，不是因為它最新...)
安裝serf: serf是一個分布式的機器節點管理工具。它可以動態地發現所有hadoop集群節點。
安裝dnsmasq: dnsmasq作為輕量級的dns服務器。它可以為hadoop集群提供域名解析服務。
容器啟動時，master節點的IP會傳給所有slave節點。serf會在container啟動后立即啟動。slave節點上的serf agent會馬上發現master節點（master IP它們都知道嘛），master節點就馬上發現了所有slave節點。然后它們之間通過互相交換信息，所有節點就能知道其他所有節點的存在了！ (Everyone will know Everyone). serf發現新的節點時，就會重新配置dnsmasq,然后重啟dnsmasq. 所以dnsmasq就能夠解析集群的所有節點的域名啦。這個過程隨著節點的增加會耗時更久，因此，若配置的Hadoop節點比較多，則在啟動容器后需要測 試serf是否發現了所有節點，dns是否能夠解析所有節點域名。稍等片刻才能啟動Hadoop。這個解決方案是由SequenceIQ公司提出的，該公 司專注于將Hadoop運行在Docker中。參考：
http://www.slideshare.net/Jano ... oning
hadoop-base鏡像
基于serf-dnsmasq鏡像
安裝JDK(openjdk)
安裝openssh-server, 配置無密碼ssh
安裝vim：介樣就可以愉快地在容器中敲代碼了:)
安裝Hadoop 2.3.0: 安裝編譯過的hadoop （2.5.2， 2.6.0， 2.7.0 都比2.3.0大，所以我懶得升級了）
PS
編譯Hadoop的步驟請參考我的博客：
http://www.cnblogs.com/kiwenlau/p/4227204.html
如果需要重新開發我的hadoop-base, 需要下載編譯過的hadoop-2.3.0安裝包，放到hadoop-cluster-docker/hadoop-base/files目錄內。我編譯的64位hadoop-2.3.0下載地址：
http://pan.baidu.com/s/1sjFRaFz
另外，我還編譯了64位的hadoop 2.5.2, 2.6.0, 2.7.0, 其下載地址如下：
hadoop-2.3.0: http://pan.baidu.com/s/1sjFRaFz
hadoop-2.5.2: http://pan.baidu.com/s/1jGw24aa
hadoop-2.6.0: http://pan.baidu.com/s/1eQgvF2M
hadoop-2.7.0: http://pan.baidu.com/s/1c0HD0Nu
hadoop-master鏡像
基于hadoop-base鏡像
配置hadoop的master節點
格式化namenode
這一步需要配置slaves文件，而slaves文件需要列出所有節點的域名或者IP。因此，Hadoop節點數目不同時，slaves文件自 然也不一樣。因此，更改Hadoop集群節點數目時，需要修改slaves文件然后重新構建hadoop-master鏡像。我編寫了一個resize- cluster.sh腳本自動化這一過程。僅需給定節點數目作為腳本參數就可以輕松實現Hadoop集群節點數目的更改。由于hadoop-master 鏡像僅僅做一些配置工作，也無需下載任何文件，整個過程非常快，1分鐘就足夠了。
hadoop-slave鏡像
基于hadoop-base鏡像
配置hadoop的slave節點
鏡像大小分析
下表為sudo docker images的運行結果
REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE
index.alauda.cn/kiwenlau/hadoop-slave 0.1.0 d63869855c03 17 hours ago 777.4 MB
index.alauda.cn/kiwenlau/hadoop-master 0.1.0 7c9d32ede450 17 hours ago 777.4 MB
index.alauda.cn/kiwenlau/hadoop-base 0.1.0 5571bd5de58e 17 hours ago 777.4 MB
index.alauda.cn/kiwenlau/serf-dnsmasq 0.1.0 09ed89c24ee8 17 hours ago 206.7 MB
ubuntu 15.04 bd94ae587483 3 weeks ago 131.3 MB
易知以下幾個結論：
serf-dnsmasq鏡像在ubuntu:15.04鏡像的基礎上增加了75.4MB
hadoop-base鏡像在serf-dnsmasq鏡像的基礎上增加了570.7MB
hadoop-master和hadoop-slave鏡像在hadoop-base鏡像的基礎上大小幾乎沒有增加
下表為docker history index.alauda.cn/kiwenlau/hadoop-base:0.1.0命令的部分運行結果
IMAGE CREATED CREATED BY SIZE
2039b9b81146 44 hours ago /bin/sh -c #(nop) ADD multi:a93c971a49514e787 158.5 MB
cdb620312f30 44 hours ago /bin/sh -c apt-get install -y openjdk-7-jdk 324.6 MB
da7d10c790c1 44 hours ago /bin/sh -c apt-get install -y openssh-server 87.58 MB
c65cb568defc 44 hours ago /bin/sh -c curl -Lso serf.zip https://dl.bint 14.46 MB
3e22b3d72e33 44 hours ago /bin/sh -c apt-get update && apt-get install 60.89 MB
b68f8c8d2140 3 weeks ago /bin/sh -c #(nop) ADD file:d90f7467c470bfa9a3 131.3 MB
基礎鏡像ubuntu:15.04為131.3MB
安裝openjdk需要324.6MB
安裝hadoop需要158.5MB
ubuntu,openjdk與hadoop均為鏡像所必須，三者一共占了:614.4MB
因此，我所開發的hadoop鏡像以及接近最小，優化空間已經很小了
三. 3節點Hadoop集群搭建步驟
1. 拉取鏡像
</p>
sudo docker pull index.alauda.cn/kiwenlau/hadoop-master:0.1.0 sudo docker pull index.alauda.cn/kiwenlau/hadoop-slave:0.1.0 sudo docker pull index.alauda.cn/kiwenlau/hadoop-base:0.1.0 sudo docker pull index.alauda.cn/kiwenlau/serf-dnsmasq:0.1.0
3~5分鐘OK~
也可以直接從我的DokcerHub倉庫中拉取鏡像，這樣就可以跳過第2步
sudo docker pull kiwenlau/hadoop-master:0.1.0 sudo docker pull kiwenlau/hadoop-slave:0.1.0 sudo docker pull kiwenlau/hadoop-base:0.1.0 sudo docker pull kiwenlau/serf-dnsmasq:0.1.0
查看下載的鏡像
sudo docker images
運行結果
REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE
index.alauda.cn/kiwenlau/hadoop-slave 0.1.0 d63869855c03 17 hours ago 777.4 MB
index.alauda.cn/kiwenlau/hadoop-master 0.1.0 7c9d32ede450 17 hours ago 777.4 MB
index.alauda.cn/kiwenlau/hadoop-base 0.1.0 5571bd5de58e 17 hours ago 777.4 MB
index.alauda.cn/kiwenlau/serf-dnsmasq 0.1.0 09ed89c24ee8 17 hours ago 206.7 MB
hadoop-base鏡像是基于serf-dnsmasq鏡像的，hadoop-slave鏡像和hadoop-master鏡像都是基于hadoop-base鏡像
所以其實4個鏡像一共也就777.4MB:)
2. 修改鏡像tag
</p>
<p>
sudo docker tag d63869855c03 kiwenlau/hadoop-slave:0.1.0
</p>
<p>
sudo docker tag 7c9d32ede450 kiwenlau/hadoop-master:0.1.0
</p>
<p>
sudo docker tag 5571bd5de58e kiwenlau/hadoop-base:0.1.0
</p>
<p>
sudo docker tag 09ed89c24ee8 kiwenlau/serf-dnsmasq:0.1.0
</p>
<p>
查看修改tag后鏡像
</p>
<p>
sudo docker images
</p>
<p>
運行結果
</p>
<p>
REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE
</p>
<p>
index.alauda.cn/kiwenlau/hadoop-slave 0.1.0 d63869855c03 17 hours ago 777.4 MB
</p>
<p>
kiwenlau/hadoop-slave 0.1.0 d63869855c03 17 hours ago 777.4 MB
</p>
<p>
index.alauda.cn/kiwenlau/hadoop-master 0.1.0 7c9d32ede450 17 hours ago 777.4 MB
</p>
<p>
kiwenlau/hadoop-master 0.1.0 7c9d32ede450 17 hours ago 777.4 MB
</p>
<p>
kiwenlau/hadoop-base 0.1.0 5571bd5de58e 17 hours ago 777.4 MB
</p>
<p>
index.alauda.cn/kiwenlau/hadoop-base 0.1.0 5571bd5de58e 17 hours ago 777.4 MB
</p>
<p>
kiwenlau/serf-dnsmasq 0.1.0 09ed89c24ee8 17 hours ago 206.7 MB
</p>
<p>
index.alauda.cn/kiwenlau/serf-dnsmasq 0.1.0 09ed89c24ee8 17 hours ago 206.7 MB
</p>
<p>
之所以要修改鏡像，是因為我默認是將鏡像上傳到Dockerhub, 因此Dokerfile以及shell腳本中得鏡像名稱都是沒有alauada前綴的，sorry for this....不過改tag還是很快滴
</p>
<p>
若直接下載我在DockerHub中的鏡像，自然就不需要修改tag...不過Alauda鏡像下載速度很快的哈~
</p>
<p>
3.下載源代碼
</p>
<p>
git clone <a href="/misc/goto?guid=4958874913601095403" rel="nofollow,noindex" target="_blank">https://github.com/kiwenlau/hadoop-cluster-docker</a>
</p>
<p>
為了防止Github被XX, 我把代碼導入到了開源中國的git倉庫
</p>
<p>
git clone <a href="/misc/goto?guid=4958874914668398966" rel="nofollow,noindex" target="_blank">http://git.oschina.net/kiwenla ... ocker</a>
</p>
<p>
4. 運行容器
</p>
<p>
cd hadoop-cluster-docker
</p>
<p>
./start-container.sh
</p>
<p>
運行結果
</p>
<p>
start master container...
</p>
<p>
start slave1 container...
</p>
<p>
start slave2 container...
</p>
<p>
root@master:~#
</p>
<p>
一共開啟了3個容器，1個master, 2個slave
</p>
<p>
開啟容器后就進入了master容器root用戶的家目錄（/root）
</p>
<p>
查看master的root用戶家目錄的文件
</p>
<p>
ls
</p>
<p>
運行結果
</p>
<p>
hdfs run-wordcount.sh serf_log start-hadoop.sh start-ssh-serf.sh
</p>
<p>
start-hadoop.sh是開啟hadoop的shell腳本
</p>
<p>
run-wordcount.sh是運行wordcount的shell腳本，可以測試鏡像是否正常工作
</p>
<p>
5.測試容器是否正常啟動(此時已進入master容器)
</p>
<p>
查看hadoop集群成員
</p>
<p>
serf members
</p>
<p>
運行結果
</p>
<p>
master.kiwenlau.com 172.17.0.65:7946 alive
</p>
<p>
slave1.kiwenlau.com 172.17.0.66:7946 alive
</p>
<p>
slave2.kiwenlau.com 172.17.0.67:7946 alive
</p>
<p>
若結果缺少節點，可以稍等片刻，再執行“serf members”命令。因為serf agent需要時間發現所有節點。
</p>
<p>
測試ssh
</p>
<p>
ssh slave2.kiwenlau.com
</p>
<p>
運行結果
</p>
<p>
Warning: Permanently added 'slave2.kiwenlau.com,172.17.0.67' (ECDSA) to the list of known hosts.
</p>
<p>
Welcome to Ubuntu 15.04 (GNU/Linux 3.13.0-53-generic x86_64)
</p>
<p>
* Documentation: <a href="/misc/goto?guid=4958874914758625659" rel="nofollow,noindex" target="_blank">https://help.ubuntu.com/</a>
</p>
<p>
The programs included with the Ubuntu system are free software;
</p>
<p>
the exact distribution terms for each program are described in the
</p>
<p>
individual files in /usr/share/doc/*/copyright.
</p>
<p>
Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by
</p>
<p>
applicable law.
</p>
<p>
root@slave2:~#
</p>
<p>
退出slave2
</p>
<p>
exit
</p>
<p>
運行結果
</p>
<p>
logout
</p>
<p>
Connection to slave2.kiwenlau.com closed.
</p>
<p>
若ssh失敗，請稍等片刻再測試，因為dnsmasq的dns服務器啟動需要時間。
</p>
<p>
測試成功后，就可以開啟Hadoop集群了！其實你也可以不進行測試，開啟容器后耐心等待一分鐘即可！
</p>
<ol>
<li>
開啟hadoop
</li>
</ol>
<p>
./start-hadoop.sh
</p>
<p>
上一步ssh到slave2之后，請記得回到master啊!!！
</p>
<p>
運行結果太多，忽略....
</p>
<p>
hadoop的啟動速度取決于機器性能....
</p>
<p>
7. 運行wordcount
</p>
<p>
./run-wordcount.sh
</p>
<p>
運行結果
</p>
<p>
input file1.txt:
</p>
<p>
Hello Hadoop
</p>
<p>
input file2.txt:
</p>
<p>
Hello Docker
</p>
<p>
wordcount output:
</p>
<p>
Docker 1
</p>
<p>
Hadoop 1
</p>
<p>
Hello 2
</p>
<p>
wordcount的執行速度取決于機器性能....
</p>
<p>
四. N節點Hadoop集群搭建步驟
</p>
<p>
1. 準備工作
</p>
<p>
參考第二部分1~3：下載鏡像，修改tag，下載源代碼
</p>
<p>
注意，你可以不下載serf-dnsmasq, 但是請最好下載hadoop-base，因為hadoop-master是基于hadoop-base構建的
</p>
<p>
2. 重新構建hadoop-master鏡像
</p>
<p>
./resize-cluster.sh 5
</p>
<p>
不要擔心，1分鐘就能搞定
</p>
<p>
你可以為resize-cluster.sh腳本設不同的正整數作為參數數1, 2, 3, 4, 5, 6...
</p>
<p>
3. 啟動容器
</p>
<p>
./start-container.sh 5
</p>
<p>
你可以為resize-cluster.sh腳本設不同的正整數作為參數數1, 2, 3, 4, 5, 6...
</p>
<p>
這個參數呢，最好還是得和上一步的參數一致:)
</p>
<p>
這個參數如果比上一步的參數大，你多啟動的節點，Hadoop不認識它們..
</p>
<p>
這個參數如果比上一步的參數小，Hadoop覺得少啟動的節點掛掉了..
</p>
<p>
4. 測試工作
</p>
<p>
參考第三部分5~7：測試容器，開啟Hadoop，運行wordcount
</p>
<p>
請注意，若節點增加，請務必先測試容器，然后再開啟Hadoop, 因為serf可能還沒有發現所有節點，而dnsmasq的DNS服務器表示還沒有配置好服務
</p>
<p>
測試等待時間取決于機器性能....
</p>
</div>
</div>