当底层的Kafka主题被删除时,Kafka服务器上的Kafka消费者组会发生什么变化?

aurhwmvo  于 2023-01-12  发布在  Apache
关注(0)|答案(1)|浏览(138)

假设我有一个Kafka主题cars
我还有一个订阅了cars主题的消费者组cars-consumerscars-consumers消费者组当前位于偏移量89。
当我现在删除cars主题时,cars-consumers消费者组会发生什么?它也会被删除吗?
如果没有,当我重新创建一个cars主题时会发生什么?cars-consumers使用者组是否仍然在偏移量89处?

jv2fixgn

jv2fixgn1#

不会立即删除它。
__consumer_offsets主题将组名作为一个记录键来维护,主题-分区偏移存储在值中,如果没有提交到同一个组,它最终会被压缩。
换句话说,如果组订阅了cars主题和其他主题,则只要针对其他主题的提交继续,针对cars主题的提交偏移量就将保持(因为它们都是按组键分组的)。因此,如果您为一个组重新创建主题,而该组中包含的主题不止一个,那么您可能会看到旧的偏移量。但是,如果偏移量位于89,正如您所说,并且这在下一次消费者调查中不会立即提供,那么auto.offset.reset将生效,无论是转到主题的开头还是结尾

相关问题