Kafka Topic Compaction - Tombstone没有被删除，kafka保留了key的最后两条记录

zazmityj 于 2023-04-29 发布在 Apache

关注(0)|答案(1)|浏览(144)

我创建了一个主题，配置如下：

min.cleanable.dirty.ratio=0.01
cleanup.policy=compact
segment.ms=100
delete.retention.ms=100

在我向Kafka推送了某些消息之后，我发现我的kafka总是为一个键返回最后两个条目，当我为一个键推送一个空值时，tombstone不会被删除。
我在这里缺少任何配置。
我只希望一个键的最后一条记录和墓碑能很快被删除，就像我的 www.example.com 是100。

1条答案

在压缩之前，它不会从主题中删除（并且仍然是可消耗的）。
任何Kafka主题分区的头段总是有发送的所有记录（因此是可消耗的），因此将包含最近发送的所有键和值（包括空值）
如果您希望从压缩主题中查找关键字，您需要查询KTable，而不是使用消费者API