我们使用合流模式注册表作为avro模式repo。我所观察到的是,在zookeeper中没有消费补偿管理。这是因为模式注册表的设计方式-不是在zookeeper中而是在kafka中存储偏移量,还是这是kafka中压缩日志/主题的标准设计模式?
sy5wg1nm1#
合流模式注册表的使用不会以任何方式影响使用者偏移量的处理方式。在kafka版本0.9和更高版本(即“新消费者”api)中,消费者偏移量存储在一个名为 __consumer_offsets .对于压缩主题和常规主题,kafka中消费者补偿的存储是相同的。
__consumer_offsets
4bbkushb2#
新的高级消费者不会将补偿存储在zookeeper中。你可以查看这个链接https://cwiki.apache.org/confluence/display/kafka/kafka+0.9+consumer+rewrite+design
2条答案
按热度按时间sy5wg1nm1#
合流模式注册表的使用不会以任何方式影响使用者偏移量的处理方式。
在kafka版本0.9和更高版本(即“新消费者”api)中,消费者偏移量存储在一个名为
__consumer_offsets
.对于压缩主题和常规主题,kafka中消费者补偿的存储是相同的。
4bbkushb2#
新的高级消费者不会将补偿存储在zookeeper中。你可以查看这个链接https://cwiki.apache.org/confluence/display/kafka/kafka+0.9+consumer+rewrite+design