如何在重新连接到Kafka中的现有消费者组时只获得最新消息

bnlyeluc  于 2023-01-04  发布在  Apache
关注(0)|答案(1)|浏览(226)

在我的例子中,一个消费者离线很长一段时间是一种合理的可能性,在离线期间,事件仍然会发布到主题。
当消费者重新联机时,它将重新使用其现有的一直滞后的消费者组。是否可以仅向前跳到最新消息?即忽略所有较早的消息。换句话说,我希望在消费之前将偏移量更改为最新消息。
spring.kafka.consumer.auto-offset属性,但据我了解,这只适用于新的消费者群体,这里我是在消费者上线时重用已有的消费者群体,也就是说,如果有可能在消费者下线时自动修剪一个消费者群体,这个属性是可以起作用的,但我不确定是否存在这样的功能?
我的工作与Spring Boot Kafka集成。

pw9qyyiw

pw9qyyiw1#

您可以在计算完最后一个偏移量之后使用消费者查找方法,然后从中减去1,提交并开始轮询。
否则,请不要使用相同的组。生成一个唯一的组和/或禁用自动提交,这样就可以保证您始终使用auto.offset.reset配置,并且延迟在应用重新启动时没有意义

相关问题