Kafka安裝配置測試

之前轉的文章《Kafka架構和原理深度剖析》中介紹了Kafka的原理，本文記錄一下其安裝配置和測試的過程。

Kafka的整體架構：

本文中的配置：

在兩臺機器Node1和Node2上，分別部署了兩個broker，Zookeeper使用的是單獨的ZK集群。

在每個機器上下載并解壓kafka_2.10-0.8.2.1

http://kafka.apache.org/downloads.html

Kafka配置

Node1:

ip為 172.16.212.17

cd $KAFKA_HOME/config
cp server.properties server1.properties
cp server.properties server2.properties

vi server1.properties 修改以下參數：
broker.id=1
port=9091
host.name=172.16.212.17
log.dirs=/tmp/kafka-logs/broker1/
zookeeper.connect=zk1:2181,zk2:2181,zk3:2181

vi server2.properties 修改以下參數：
broker.id=2
port=9092
host.name=172.16.212.17
log.dirs=/tmp/kafka-logs/broker2/
zookeeper.connect=zk1:2181,zk2:2181,zk3:2181

Node2:

ip為 172.16.212.102

cd $KAFKA_HOME/config
cp server.properties server3.properties
cp server.properties server4.properties

vi server1.properties 修改以下參數：
broker.id=3port=9091
host.name=172.16.212.102
log.dirs=/tmp/kafka-logs/broker3/
zookeeper.connect=zk1:2181,zk2:2181,zk3:2181

vi server2.properties 修改以下參數：
broker.id=4
port=9092
host.name=172.16.212.102
log.dirs=/tmp/kafka-logs/broker4/
zookeeper.connect=zk1:2181,zk2:2181,zk3:2181

Kafka啟動

Node1:

cd $KAFKA_HOME/bin
nohup ./kafka-server-start.sh $KAFKA_HOME/config/server1.properties &
nohup ./kafka-server-start.sh $KAFKA_HOME/config/server2.properties &

Node2:

cd $KAFKA_HOME/bin
nohup ./kafka-server-start.sh $KAFKA_HOME/config/server3.properties &
nohup ./kafka-server-start.sh $KAFKA_HOME/config/server4.properties &

啟動后，可以在Zookeeper中看到4個brokers:

[zk: localhost:2181(CONNECTED) 4] ls /brokers/ids

[3, 2, 1, 4]

創建topic

在任意Node上，

cd $KAFKA_HOME/bin
./kafka-topics.sh --create --zookeeper zk1:2181,zk2:2181,zk3:2181 --replication-factor 2 --partitions 2 --topic lxw1234.com

創建一個名為lxw1234.com的topic.

查看topic

cd $KAFKA_HOME/bin
./kafka-topics.sh --describe --zookeeper zk1:2181,zk2:2181,zk3:2181 --topic lxw1234.com
Topic:lxw1234.com       PartitionCount:2        ReplicationFactor:2     Configs:
        Topic: lxw1234.com      Partition: 0    Leader: 1       Replicas: 1,2   Isr: 1,2
        Topic: lxw1234.com      Partition: 1    Leader: 2       Replicas: 2,3   Isr: 2,3

模擬producer發送消息

cd $KAFKA_HOME/bin
./kafka-console-producer.sh --broker-list 172.16.212.17:9091,172.16.212.17:9092,172.16.212.102:9091,172.16.212.102:9092 --topic lxw1234.com

啟動之后，在控制臺上可以先輸入一些消息：

[root@dev bin]# ./kafka-console-producer.sh --broker-list 172.16.212.17:9091,172.16.212.17:9092,172.16.212.102:9091,172.16.212.102:9092 --topic lxw1234.com
[2015-09-24 14:03:24,616] WARN Property topic is not valid (kafka.utils.VerifiableProperties)
This is Kafka producer.
Hello, lxw1234.com.

模擬consumer接收消息

cd $KAFKA_HOME/bin
./kafka-console-consumer.sh --zookeeper zk1:2181,zk2:2181,zk3:2181 --topic lxw1234.com --from-beginning
This is Kafka producer.
Hello, lxw1234.com.

接下來可以在producer的控制臺中輸入其他消息，看看consumer的控制臺是否能正常打印出來。

刪除topic

cd $KAFKA_HOME/bin
./kafka-topics.sh --delete --zookeeper zk1:2181,zk2:2181,zk3:2181 --topic lxw1234.com

執行后，該topic會被kafka標記為刪除，還需要在zookeeper中手動刪除相關的節點：

[zk: localhost:2181(CONNECTED) 5] rmr /brokers/topics/lxw1234.com

停止Kafka

cd $KAFKA_HOME/bin

./kafka-server-stop.sh

或者找到kafka的進程，直接kill掉即可。

您可以關注 lxw的大數據田地 ，或者 加入郵件列表 ，隨時接收博客更新的通知郵件。

轉載請注明：lxw的大數據田地 ? Kafka安裝配置測試