我试图找到方法来获取我的kafka集群的当前使用统计数据。我希望收集以下信息：
Kafka集群中的主题数
每个kafka代理的分区数
活跃消费者和生产者数量
每个kafka代理的客户端连接数
每个分区上的消息数、磁盘大小等。
滞后复制品、消费者滞后等。
活跃消费群体
任何其他统计数据，可以和应该收集，目前我正在收集上述统计。
我可以得到1和2使用zookeeper实用程序，但我迷失了休息。我查看了jconsole中的mbean，但没有发现任何关于上面的内容。我还尝试了jmxtool使用基于regex的表达式来获取这些mbean，但也没有成功。
我正在使用kafka v2.1，并使用新的consumer api，这样zookeeper就没有任何关于consumer的信息了。
任何指点都会很有帮助！
1条答案
按热度按时间vltsax251#
不如用https://github.com/yahoo/kafka-manager 或者https://github.com/linkedin/cruise-control 为了得到这个信息。
在$kafka\u home/bin下有脚本可以帮助您。
Kafka集群中的主题数
./kafka-topics.sh--Zookeeperlocalhost:2181 --list
每个kafka代理的分区数
./kafka-topics.sh--Zookeeperlocalhost:2181 --describe
每个分区上的消息数、磁盘大小等。
./kafka-log-dirs.sh—描述—引导服务器localhost:9092
滞后复制品、消费者滞后等。
./kafka-consumer-group.sh—引导服务器localhost:9092 --group $group\U name—描述
活跃消费者群体活跃消费者和生产者的数量
你不能得到积极的生产者。了解Kafka主题的现有制作人
./kafka-consumer-group.sh—引导服务器localhost:9092 --list
每个kafka代理的客户端连接数
./