当达到retention.bytes限制并且cleanup.policy设置为compact时,kafka主题中的数据会发生什么变化?

rnmwe5a2  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(397)

这个问题在这里已经有了答案

清理policy:compact/delete 和log.retention(1个答案)
三个月前关门了。
当达到retention.bytes限制并且cleanup.policy设置为compact时,kafka主题中的数据会发生什么变化?哪个设置优先?例如,如果我通过将retention.bytes设置为10000000(10 mb)并将cleanup.policy设置为“compact”来创建一个主题,并且有足够的唯一键来占用10mb的磁盘空间,那么当新消息发布到该主题时,kafka主题中的数据会发生什么变化?
Kafka会保留旧的唯一密钥并忽略retention.bytes配置设置吗?或者Kafka会放弃旧的信息?或者我应该设置retention.bytes=-1以确保clean.policy=compact按预期工作?

fcg9iug3

fcg9iug31#

在这里查看罗希特·亚达夫的答案。
不需要将log.retention设置为-1或任何其他值。你的主题将被压缩,旧邮件永远不会被删除(根据压缩规则)。
如果清除策略设置为 compact 然后定期进行清理,如本文所述。

相关问题