如标题中所述,段文件长时间未被删除,这使得分区大小非常大(大于100g)。
在我看来,\消费者\补偿清除策略是紧凑的,那些不活动的消息应该在过期后删除。默认值为1天,这是硬代码。
val OffsetsRetentionMinutes: Int = 24 * 60 //KafkaConfig.scala
offsetsRetentionMs = config.offsetsRetentionMinutes * 60 * 1000L //GroupCoordinator.scala
不过,从下面的图片来看,我消费了来自uu消费u偏移量的消息,过期时间远远超过1天,它仍然没有被删除。
环境:
Kafka0.9.0.1
jdk 1.7.0̣
1条答案
按热度按时间ruoxqz4g1#
检查
log.segment.bytes
. 默认情况下是1G
当它达到那个尺寸后,段就闭合了。保留策略不应用于未关闭的段。