Kafka三款監控工具比較
在之前的博客中，介紹了Kafka Web Console這 個監控工具，在生產環境中使用，運行一段時間后，發現該工具會和Kafka生產者、消費者、ZooKeeper建立大量連接，從而導致網絡阻塞。并且這個 Bug也在其他使用者中出現過，看來使用開源工具要慎重！該Bug暫未得到修復，不得已，只能研究下其他同類的Kafka監控軟件。
通過研究，發現主流的三種kafka監控程序分別為：
- Kafka Web Conslole
- Kafka Manager
- KafkaOffsetMonitor
現在依次介紹以上三種工具：
Kafka Web Conslole
使用Kafka Web Console，可以監控：
-
Brokers列表
-
Kafka 集群中 Topic列表，及對應的Partition、LogSiz e等信息
-
點擊Topic，可以瀏覽對應的Consumer Groups、Offset、Lag等信息
- 生產和消費流量圖、消息預覽…
程序運行后，會定時去讀取kafka集群分區的日志長度，讀取完畢后，連接沒有正常釋放，一段時間后產生大量的socket連接，導致網絡堵塞。
Kafka Manager
雅虎開源的Kafka集群管理工具:
-
管理幾個不同的集群
-
監控集群的狀態(topics, brokers, 副本分布, 分區分布)
-
產生分區分配(Generate partition assignments)基于集群的當前狀態
- 重新分配分區
KafkaOffsetMonitor
-
KafkaOffsetMonitor可以實時監控：
-
Kafka集群狀態
-
Topic、Consumer Group列表
-
圖形化展示topic和consumer之間的關系
-
圖形化展示consumer的Offset、Lag等信息
總結
通過使用，個人總結以上三種監控程序的優缺點：
Kafka Web Console：監控功能較為全面，可以預覽消息，監控Offset、Lag等信息，但存在bug，不建議在生產環境中使用。
Kafka Manager：偏向Kafka集群管理，若操作不當，容易導致集群出現故障。對Kafka實時生產和消費消息是通過JMX實現的。沒有記錄Offset、Lag等信息。
KafkaOffsetMonitor：程序一個jar包的形式運行，部署較為方便。只有監控功能，使用起來也較為安全。
若只需要監控功能，推薦使用KafkaOffsetMonito，若偏重Kafka集群管理，推薦使用Kafka Manager。
因為都是開源程序，穩定性欠缺。故需先了解清楚目前已存在哪些Bug，多測試一下，避免出現類似于Kafka Web Console的問題。
原創文章，轉載請注明：
轉載自藍色天堂博客，本文鏈接地址：http://hadoop1989.com/2015/09/22/Kafka-Monitor_Compare/