kafka检查队列大小

rjee0c15  于 2021-06-08  发布在  Kafka
关注(0)|答案(2)|浏览(491)

我试图检查Kafka中某个特定主题的队列大小。尽管如此,我甚至不知道如何检查这个指标哪怕一次。我对Kafka完全陌生,所以我不知道该怎么办。我假设它将涉及创建一个生产者或消费者来与队列交互,但我遇到了一个障碍。

nkoocmlb

nkoocmlb1#

如果您想知道还有多少msg可以按主题和分区使用:以编程方式,如果您使用的是高级使用者客户机,则必须查询zookeeper。与当前偏移位置相关的数据存储在路径/kafka/consumers下。看一看Kafka偏移量监视工具。它将使您了解存储在zk中的数据类型。这种行为将在下一个版本0.9.0中改变,因为zk中的写密集型并不是最佳用例。
如果你想知道这个主题中总共有多少个msg:你必须自己和消费者一起计算。或者将消息镜像到另一个专门用于分析目的的kafka集群(stats、count、anything)。
kafka中的队列大小概念是不相关的,因为它不是一个队列而是一个日志。你可以消费,倒带,跳跃,因为你想任何偏移。

3pvhb19x

3pvhb19x2#

我认为目前不可能。您应该将kafka主题视为一个无限的数据流,因此您唯一的选择是计算使用者中已消费的消息。
您可以使用kafka偏移量监视工具,它将显示每个主题分区的日志大小(您必须总结):http://ingest.tips/2014/10/12/kafka-high-level-consumer-frequently-missing-pieces/

相关问题