压缩主题:日志清理器和偏移量消耗

ddrv8njm  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(307)

与主题压缩有关的问题。在压缩主题中,当日志清理器清理特定密钥的先前偏移量(3,4,5)时出现延迟(假设5是最新偏移量),而作为使用者使用这些偏移量时,即使3和4仍未压缩,或使用者将获得(3,4,5)按这个顺序?

mqkwyuun

mqkwyuun1#

如果3和4还没有被压缩出主题,你的消费者将得到(3,4,5)。这是相同的结果,你会得到如果你订阅时,3是最新的消息,然后4和5在随后发布,所以它不应该打破你的消费逻辑。此外,压缩从未在每个主题分区的最新段上运行,因为这些段文件仍处于打开状态以供写入。这意味着不能保证每个密钥只存在于一条消息上。

相关问题