storm集群搭建
集群環境:每臺機器的操作系統，配置都要一樣的，避免一些不必要的麻煩，
所需工具軟件：python,zookeeper,jzmq,storm,ssh
1:集群環境準備：
1.1 設置主機名
(1)執行命令hostname hadoop0 該操作只對當前會話有效(2)編輯文件vi /etc/sysconfig/network 修改為hadoop0驗證:重啟linux，查看是否生效
1.2把ip和hostname綁定
編輯文件vi /etc/hosts 增加一行記錄 192.168.80.100 hadoop0驗證:ping hadoop0
1.3 關閉防火墻 執行命令service iptables stop 驗證:service iptables status
1.4關閉防護墻的自動運行 執行命令chkconfig iptables off 驗證:chkconfig --list | grep iptables
1.5 集群中每個節點時間同步
第一步:安裝ssh,確保集群中各個節點都可以通信
1.6關閉selinux
查看selinux狀態：
/usr/sbin/sestatus -v #如果selinux status參數為enabled即為開啟狀態
1.7關閉selinux服務器，
note：修改配置文件需要重啟：
修改/etc/selinux/config文件：
將SELINUX=enforcing改成SELINUX=disabled
重啟機器即可,
1.7：配置每個節點的ssh
在hadoop2和hadoop3上分別執行[object Object]
驗證ssh的結果：
把hadoop1上的authorized_keys文件復制到hadoop2和hadoop3上，
執行scp authorized_keys hadoop2:/root/.ssh/
scp authorized_keys hadoop3:/root/.ssh/ssh各個節點主機安裝完畢，在線安裝mvn和antLinux下一鍵安裝mavenwget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repoyum -y install apache-maven安裝antyum -y install ant
下載python wget http://www.python.org/ftp/python/
安裝：
xz -d Python-2.7.6.tar.xz
tar xvf Python-2.7.6.tar
cd Python-2.7.6
./configure
make
make install
注意：
安裝python之前，最好確認一下gcc是否安裝。yum install -y gcc
否則./configure 階段就會報錯了
查看python version看看是否安裝成功
安裝zookeeper
6 搭建zk的集群
6.1 zk的集群要求至少3個節點(分別是hadoop0、hadoop1、hadoop2)，且是奇數個，且節點之間的時間要同步。
6.2 在hadoop0上對zookeeper.tar.gz進行復制,解壓縮、重命名、設置環境變量。
(1)復制zookeeper-3.4.5.tar.gz到/usr/local目錄，然后進入到該目錄
(2)執行命令 tar -zxvf zookeeper-3.4.5.tar.gz 進行解壓縮(要進入到此文件目錄下執行)
(3)重命名 mv zookeeper-3.4.5 zookeeper，然后vi /etc/profile文件，
配置環境變量
6.3 在hadoop0上進入zookeeper的conf目錄
mv zoo_sample.cfg zoo.cfg
5.4 在hadoop0上進入/usr/local/zookeeper/conf目錄下,進行編輯文件zoo.cfg,
修改dataDir=/tmp/zookeeper 改成 dataDir=/usr/local/zookeeper/data
新增以下三行
server.0=hadoop0:2888:3888
server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
5.5 在hadoop0上創建文件夾，執行命令mkdir -p /usr/local/zookeeper/data
5.6 在hadoop0的data目錄下，創建文件myid，文件內容是0
5.7 把hadoop0上的zookeeper文件夾和/etc/profile復制到hadoop1、hadoop2節點。
執行命令：
從新解壓
5.8 在hadoop1上執行source /etc/profile，修改myid的值為1
在hadoop2上執行source /etc/profile，修改myid的值為2
5.9 ******************三個節點分別執行命令zkServer.sh start*******************
查看每個節點上的zookeeper狀態：zkServer.sh status
5.10 驗證：在各個節點分別執行jps，發現多一個java進程是QuorumPeerMain
5.11把zookeeper服務停用，zkServer.sh stop
好了，zookeeper集群配置好了
安裝storm
解壓apache-storm-0.9.4.tar.gz
tar -xvf apache-storm-0.9.4.tar.gz
建立軟連接
ln -s apache-storm-0.9.4 storm
修改storm的配置文件storm.yaml文件
vim /usr/local/storm/conf/storm.yaml
vim /usr/local/storm/conf/storm.yaml :
storm.zookeeper.servers:
- "hostA"
- "hostB"
- "hostC"
storm.zookeeper.port: 2181
nimbus.host: "hostA"
storm.local.dir: "/tmp/storm"
storm.local.mode.zmq: true
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
說明：
storm.local.dir表示storm需要用到的本地目錄。
nimbus.host表示那一臺機器是master機器，即nimbus。
storm.zookeeper.servers表示哪幾臺機器是zookeeper服務器。
storm.zookeeper.port表示zookeeper的端口號，這里一定要與zookeeper配置的端口號一致，否則會出現通信錯誤，切記切記。當然你也可以配superevisor.slot.port，supervisor.slots.ports表示supervisor節點的槽數，就是最多能跑幾個worker進程（每個sprout或bolt默認只啟動一個worker，但是可以通過conf修改成多個）。
好了，storm集群就配置好了。
現在準備啟動strom集群：
在主節點hostA上啟動：
# bin/storm nimbus
# bin/storm supervisor
# bin/storm ui
在從節點上hostB hostC啟動：
# bin/storm supervisor
然后就可以在http://{NimbusHost}:8080界面上看到storm ui的運行情況了。
如提交運行任務：
storm jar sendCloud-dataAnalysis.jar com.sohu.sendCloud.controller.SimpleTopology analysis_v1
至此，整個strom集群搭建完成。
其中要注意幾點就是 storm的配置文件storm.yaml格式要非常仔細，嚴格按照官方教程配置：https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster
如 參數前面有空格，ip地址使用雙引號之類的，配置不規范就會運行異常。
另外，如果使用的幾臺機器是有別名的，一定要在每一臺機器上都做好所有機器的host，不然就會出現如下錯誤：
2012-11-15 10:54:38 ClientCnxn [INFO] Session establishment complete on server zw_125_228/*.*.*.228:2181, sessionid = 0x33afe9d0d4b0caf, negotiated timeout = 20000
2012-11-15 10:54:38 worker [ERROR] Error on initialization of server mk-worker
org.zeromq.ZMQException: Invalid argument(0x16)
at org.zeromq.ZMQ$Socket.connect(Native Method)
at zilch.mq$connect.invoke(mq.clj:74)
at backtype.storm.messaging.zmq.ZMQContext.connect(zmq.clj:61)
at backtype.storm.daemon.worker$mk_refresh_connections$this__4269$iter__4276__4280$fn__4281.invoke(worker.clj:243)
at clojure.lang.LazySeq.sval(LazySeq.java:42)
at clojure.lang.LazySeq.seq(LazySeq.java:60)
at clojure.lang.RT.seq(RT.java:473)
at clojure.core$seq.invoke(core.clj:133)
at clojure.core$dorun.invoke(core.clj:2725)
at clojure.core$doall.invoke(core.clj:2741)
at backtype.storm.daemon.worker$mk_refresh_connections$this__4269.invoke(worker.clj:237)
at backtype.storm.daemon.worker$fn__4324$exec_fn__1207__auto____4325.invoke(worker.clj:350)
at clojure.lang.AFn.applyToHelper(AFn.java:185)
at clojure.lang.AFn.applyTo(AFn.java:151)
at clojure.core$apply.invoke(core.clj:601)
at backtype.storm.daemon.worker$fn__4324$mk_worker__4380.doInvoke(worker.clj:322)
at clojure.lang.RestFn.invoke(RestFn.java:512)
at backtype.storm.daemon.worker$_main.invoke(worker.clj:432)
at clojure.lang.AFn.applyToHelper(AFn.java:172)
at clojure.lang.AFn.applyTo(AFn.java:151)
at backtype.storm.daemon.worker.main(Unknown Source)
2012-11-15 10:54:38 util [INFO] Halting process: ("Error on initialization")
而且這樣的錯誤提示很不明顯。
修改vim /etc/hosts 將每一臺機器的別名都配置到hosts文件上，即可。
下面看一下運行的ui展示：
<a class="cboxElement" rel="example4" 1329"="" style="text-decoration: none; color: rgb(1, 150, 227);">
storm啟動命令：
storm ui >/dev/null 2>&1 &
主節點啟動：
storm nimbus >/dev/null 2>&1 &
從節點啟動：
storm supervisor >/dev/null 2>&1 &
jps查看進程
[root@hadoop1 local]# jps
12273 QuorumPeerMain
15431 nimbus
15514 supervisor
15581 core
19732 Jps
[root@hadoop1 local]#
[root@hadoop2 local]# jps
6554 Jps
2779 supervisor
13518 QuorumPeerMain
[root@hadoop2 local]#
[root@hadoop3 ~]# jps
7165 Jps
11551 QuorumPeerMain
3442 supervisor
[root@hadoop3 ~]#
至此，storm集群搭建成功。
查看web界面：http://192.168.6.177:8080/index.html