在kafka代理重新启动后重新使用消息

tzcvj98z  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(394)

我使用./kafka-consumer-groups.sh--新使用者--引导服务器10.10.3.80:9092--描述--我发现当前偏移量是337
当我们重新启动kafka broker时,使用者将重新使用来自238偏移量的消息为什么当前偏移量是337,而我收到的是由kafka broker重新启动的238偏移量?我使用kafka auto commit is true(默认值)和auto commit interval ms is 5000(默认值)
我使用的kafka代理是0.11.0和springkafka 1.1.6以及springboot1.5.7
我的github问题是https://github.com/spring-projects/spring-kafka/issues/435
我的问题,如(解决)Kafka0.11.0.0继续重置重新启动时的偏移量
但我不知道怎么解决

4ktjp1zp

4ktjp1zp1#

我使用kafka auto commit为true(默认值),auto commit interval ms为5000(默认值)
这就是问题所在-偏移量仅每5秒提交一次。
通常最好将其设置为false并让容器管理提交( AckMode.Record 对于最小的再处理,但最大的开销, AckMode.BATCH 将在从代理接收到每批记录后提交(减少开销但增加重新处理的可能性)。

相关问题