我正在使用storm-0.9.2发行版附带的kafkaspout来完成我的项目。我要监视这个喷口的流量。我试着使用kafkaoffsetmonitoring，但它没有显示任何消费者阅读我的主题。
我怀疑这是因为我在zookeeper中指定了用于存储消费偏移量的喷口的根路径。kafkaoffsetmonitor如何知道在哪里查找关于我的kafkaspout示例的数据？
有人能解释一下zookeeper在哪里存储关于Kafka主题和消费者的数据吗？zookeeper是一个文件系统。那么，它如何安排不同主题及其分区的数据呢？什么是consumer groupid？zookeeper在存储consumer offset时如何解释它？
如果有人曾经使用kafkaoffsetmonitor来监视kafkaspout的吞吐量，请告诉我如何使用该工具找到我的喷口？
非常感谢，帕拉克沙阿
2条答案
按热度按时间yx2lnoni1#
我从来没有用过Kafka夫塞特监视器，但我可以回答另一部分。
zookeeper.connect是可以指定Kafka的znode的属性；默认情况下，它将所有数据保留在“/”。
您可以使用zookeeper命令行zkcli.sh访问zookeeper文件系统。你应该看看/消费者和/经纪人；下面是偏移量
您可以连续轮询此偏移量以了解喷口处的消耗率。
dsekswqp2#
Kafka喷口保持其抵消在自己的znode，而不是在znodeKafka存储的抵消为普通消费者。我们有一个类似的需求，我们必须监测Kafka喷口消费者和普通Kafka消费者的补偿，所以我们结束了自己的工具编写。您可以从这里获取工具：
https://github.com/symantec/kafka-monitoring-tool