Kafka配置,只查看最后5分钟的数据

gupuwyp2  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(419)

对不起,我是Kafka的新人,这个问题可能很简单,但我需要一些帮助。我没有弄清楚一些配置。有一个数据流,我希望消费者看到只有最后5分钟的消息,procuders发送。我正在使用confluent.kafka for.net,

var config = new Dictionary<string, object>{
                {"group.id","Test1Costumers"},
                {"bootstrap.servers",brokerEndpoint},
                { "auto.commit.interval.ms", 60000},
                { "auto.offset.reset", "earliest" }
            };

下面是github中消费者的配置字典示例,另一个问题是我不想在一个主题中存储超过5分钟的消息,因为如果它们超过5分钟,我就不需要这些记录。
当我配置server.properties时;


# The minimum age of a log file to be eligible for deletion due to age

log.retention.ms=60000

一分钟后,文件当前使用的抛出错误
谢谢你的帮助。

zed5wv10

zed5wv101#

在Kafka server.properties 有一个叫做 log.segment.bytes ,默认设置为1gb。一旦一个日志段达到1gb,它就会关闭,只有在这之后,保留才会生效。e、 g.如果您每天生成100mb的消息,并且您的保留期为1周,那么在删除数据之前,您实际上会保留大约17天。这是因为日志段将需要10天才能填满(1gb),从那时起,保留将开始生效。在您的情况下,我假设您没有更改 log.segment.bytes ,但你的保留率很低。因此,它将无法清理数据,因为日志段尚未关闭。

相关问题