为什么Kafka主题消费偏移量在分区中大小不平衡?

np8igboo  于 2021-07-15  发布在  Kafka
关注(0)|答案(1)|浏览(412)

我用的是Kafka2.0.0。
在消费偏移主题中,大部分分区是30mb,但有些分区非常大。例如:一个分区是15gb,另一个分区是250gb,等等。
有什么问题吗?

w1e3prcc

w1e3prcc1#

主题 __consumer_offsets 存储kafka使用者组的每个订阅主题分区的最新提交偏移量。在本主题中,将consumergroup服务器作为键。
显然,与其他使用者组相比,属于同一分区(应用哈希(键)%#分区逻辑)的使用者组更活跃(更频繁地消耗更多消息)。

相关问题