Kafka 当由于非活动而未在目标上创建消费者组时,MM2偏移同步

bf1o4zei  于 11个月前  发布在  Apache
关注(0)|答案(1)|浏览(148)

我有一个辅助群集,在灾难发生之前没有消费者。而DR此群集需要由与主群集相同的消费者组消费,并且需要使用相同的偏移量消费
如果设置sync.group.offsets.enabled:true,即使辅助集群上还没有创建消费者组,也会同步特定消费者组的偏移量信息吗?
Kafka改进提案(KIP)382:此KIP介绍了KVMMaker 2并概述了其功能。它提到KVMMaker 2可以将消费者组偏移量沿着同步到复制的消息中
也许有人实际上已经尝试过了。

j0pj023g

j0pj023g1#

从Kafka2.7.0及更高版本中,答案是yes:如果sync.group.offsets.enabled:true,MM2将自动将组偏移量从MM2 checkpoints主题转换为目标集群上的“__consumer_offsets”主题。
这是允许消费者和流应用透明地从源集群迁移到目标集群的改进,使得当消费者和流应用切换到目标集群时,它将从它在源集群处停止的地方恢复消费。

相关问题