Kafka消费偏移段文件过期后未删除

aydmsdu9  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(308)

如标题中所述,段文件长时间未被删除,这使得分区大小非常大(大于100g)。
在我看来,\消费者\补偿清除策略是紧凑的,那些不活动的消息应该在过期后删除。默认值为1天,这是硬代码。

val OffsetsRetentionMinutes: Int = 24 * 60  //KafkaConfig.scala

  offsetsRetentionMs = config.offsetsRetentionMinutes * 60 * 1000L //GroupCoordinator.scala

不过,从下面的图片来看,我消费了来自uu消费u偏移量的消息,过期时间远远超过1天,它仍然没有被删除。


环境:
Kafka0.9.0.1
jdk 1.7.0̣

ruoxqz4g

ruoxqz4g1#

检查 log.segment.bytes . 默认情况下是 1G 当它达到那个尺寸后,段就闭合了。保留策略不应用于未关闭的段。

相关问题