zookeeper單機多實例和分布式部署

jopen 10年前發布 | 89K 次閱讀 分布式/云計算/大數據 ZooKeeper

介紹zookeeper單機多實例部署(實驗性質)以及生產環境的分布式部署

1. 準備工作:

   1)需要linux環境,推薦用ubuntu的系統。學習的話使用oracle的virtual box安裝虛擬機,網上找下安裝文檔就可以裝好了,而生產環境一般都會裝好的。ubuntu下載鏈接:

32位:http://mirrors.zju.edu.cn/ubuntu-releases//precise/ubuntu-12.04.3-server-i386.iso
或
64位:http://mirrors.hust.edu.cn/ubuntu-releases//precise/ubuntu-12.04.3-server-amd64.iso

    2) JDK:zookeeper需要java運行環境,這個建議1.6以上,配置好 JAVA_HOME 、CLASSPATH、 PATH 變量。

jdk下載地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

環境變量配置,home目錄下的.profile即可:

export JAVA_HOME="/usr/lib/jvm/jdk1.7.0_40"
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export ZOOKEEPER_HOME="/data/apache/zookeeper"
export PATH="$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin"

    3) zookeeper安裝包:http://zookeeper.apache.org/releases.html 下載穩定版本,現在的版本是3.4.5

2. 各種解壓,不多說,建議對解壓后的目錄(帶有版本號的),建立軟連接 zk ,方便后面的配置和升級。

    我解壓后放在:  /data/apache/zookeeper下面,并修改文件權限為運行用戶權限:

sudo chown -R zqgame:zqgame zookeeper

   zqgame:zqgame是運行zookeeper的用戶和用戶所在組,查看權限:

zqgame@develop-test-web:/data/apache$ ll
total 16
drwxr-xr-x  4 zqgame zqgame 4096 Jan 17 12:41 ./
drwxr-xr-x 11 root   root   4096 Dec 13 14:49 ../
drwxr-xr-x 11 zqgame zqgame 4096 Nov 20 15:50 hadoop-2.2.0/
drwxr-xr-x 12 zqgame zqgame 4096 Jan 17 12:56 zookeeper/
zqgame@develop-test-web:/data/apache$

3. 端口檢查,通常使用的端口 2181,2888,3888 ,檢查是否占用,占用則下面的配置中更改端口。

netstat -ano | grep 2181

4.單機多實例配置及啟動:

#生成配置文件,配置文件名隨便,這里是zoo.cfg
cp /data/apache/zookeeper/conf/zoo_sample.cfg  /data/apache/zookeeper/conf/zoo.cfg
vi /data/apache/zookeeper/conf/zoo.cfg

   配置文件內容:

tickTime=2000
initLimit=5
syncLimit=5
dataDir=/data/apache/zookeeper/data  # 目錄需要手工建立,存放 zk 數據,主要是快照
clientPort=2181
# dataLogDir事務日志存放目錄,最好配置,事務日志的寫入速度嚴重影響zookeeper的性能
dataLogDir=/data/apache/zookeeper/datalog
server.1=192.168.130.170:2889:3889
server.2=192.168.130.170:2890:3890
server.3=192.168.130.170:2891:3891

   拷貝配置文件,生成三個配置文件:zoo-slave1.cfg: (另外兩個 zoo-slave2.cfg 和 zoo-slave3.cfg)。

   zoo-slave1.cfg需要為dataDir和dataLogDir設置目錄,改動內容如下:

dataDir=/data/apache/zookeeper/data/slave1
dataLogDir=/data/apache/zookeeper/datalog/slave1
clientPort=2182

   zoo-slave2.cfg :

dataDir=/data/apache/zookeeper/data/slave2
dataLogDir=/data/apache/zookeeper/datalog/slave2
clientPort=2183

  zoo-slave3.cfg :

dataDir=/data/apache/zookeeper/data/slave3
dataLogDir=/data/apache/zookeeper/datalog/slave3
clientPort=2184

如上配置相同的本機IP,不同的端口號,這里配置了三個實例

如何區分到底是第幾個實例呢,就要有個id文件,名字必須是myid

echo "1" > /data/apache/zookeeper/data/slave1/myid
echo "2" > /data/apache/zookeeper/data/slave1/myid
echo "3" > /data/apache/zookeeper/data/slave1/myid

在三個窗口下迅速啟動:

bin/zkServer.sh start zoo-slave1.cfg 
bin/zkServer.sh start zoo-slave2.cfg 
bin/zkServer.sh start zoo-slave3.cfg

查看zookeeper選出來的leader,通過下面的腳本,分別指定配置文件,就可以查看哪一個實例是leader:

bin/zkServer.sh status zoo-slave1.cfg

可以看下如下輸出信息:

zqgame@develop-test-web:/data/apache/zookeeper$ bin/zkServer.sh status zoo-slave2.cfg 
JMX enabled by default
Using config: /data/apache/zookeeper/bin/../conf/zoo-slave2.cfg
Mode: leader

5、分布式部署:

    與單機多實例差不多,不過不用三個目錄,只需要一個目錄,一個配置文件,三個不同IP,分發在不同的IP上,仍然是不同的myid。假設我有三臺獨立機器,那么zoo.cfg(只需要一個默認的配置文件zoo.cfg)配置文件如下所示:

tickTime=2000
initLimit=5
syncLimit=5
dataDir=/data/apache/zookeeper/data  # 目錄需要手工建立,存放 zk 數據,主要是快照
clientPort=2181
# dataLogDir事務日志存放目錄,最好配置,事務日志的寫入速度嚴重影響zookeeper的性能
dataLogDir=/data/apache/zookeeper/datalog
server.1=192.168.130.101:2888:3888
server.2=192.168.130.102:2888:3888
server.3=192.168.130.103:2888:3888

然后在三臺機器上分別寫入不同的myid:

#在192.168.130.101執行下面一條
echo "1" > /data/apache/zookeeper/data/myid
#在192.168.130.102執行下面一條
echo "2" > /data/apache/zookeeper/data/myid
#在192.168.130.103執行下面一條
echo "3" > /data/apache/zookeeper/data/myid

這樣分別在三臺機器迅速啟動zookeeper,此時不需要指定配置文件,默認配置文件就是zoo.cfg:

bin/zkServer.sh start

查看啟動后的狀態:

bin/zkServer.sh status

進入zookeeper的shell客戶端:

bin/zkCli.sh   #進入本機zookeeper的shell

進入指定機器的shell客戶端:

bin/zkCli.sh -server 192.168.130.101

在查看啟動狀態有錯誤的情況下,稍等一會再查看,因為zookeeper啟動后需要一點時間選出leader。

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!