如何确定Kafka消费者的补偿

7gyucuyw  于 2021-06-07  发布在  Kafka
关注(0)|答案(3)|浏览(401)

我们有一个问题,Kafka消费者似乎没有收到发布到某个主题的消息(我说,似乎我还没有弄清这一点,我可能是错的。)
我正在为apachekafka使用spring,我的使用者实际上是一个用 @KafkaListener .
这个问题是间歇性的,我有困难重新创建它。
有没有办法让我看看Kafka经纪人的日志,或者其他工具来帮助我找到我的消费者的补偿?我需要具体的证据证明我的消费者是否收到了信息。

gg58donl

gg58donl1#

apache kafka的群集管理器(以前称为kafka管理器)显示使用者偏移和使用者滞后:

但是,详细视图也按分区显示详细偏移:

cmak:github上的集群管理器
它有许多功能,允许管理和监控多个Kafka集群,我们使用多年,非常高兴。
它正在积极开发中,支持最新版本的Kafka。
它比运行kafka命令行更重,但是docker使设置更容易

nwo49xxi

nwo49xxi2#

除了使用./kafka消费者组(如另一个正确且完全有效的答案中所述),您还可以使用windows gui应用程序,该应用程序显示有关消费者组及其偏移/滞后的相同信息:
http://www.kafkatool.com/download.html

yv5phkfx

yv5phkfx3#

请看kafka使用者组工具,该工具可用于检查使用者的偏移和滞后(运行此命令时,使用者必须处于活动状态)。

./kafka-consumer-groups --bootstrap-server 127.0.0.1:9092 --new-consumer --describe --group console-consumer-55936

GROUP                          TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             OWNER
console-consumer-55936         test                           0          6               6               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           1          1               1               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           2          1               1               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           3          1               1               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           4          2               2               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           5          1               1               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           6          1               1               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           7          2               2               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           8          1               1               0               consumer-1_/192.168.0.83

这应该允许您跟踪任何东西是否实际被消费。

相关问题