如何让kafka根据提供的保留期删除日志

jecbmhm3  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(289)

我有一个kafka集群或3个代理在awsec2示例上运行。但是,由于kafka生成日志,这些机器上的磁盘空间很快就用完了,一旦这些机器的磁盘空间用完,kafka就会停止运行。我有以下清理策略在我的 server.properties 文件

log.retention.hours=24
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000

这个 log.retention.hours 最初设置为 168 像往常一样,但我想这可能是一个足够长的时间,磁盘得到充分的,因为我正在运行的t2.small机器与30gib的磁盘存储,所以我减少了这个保留时间到24小时,但磁盘仍然得到充分的。
我跑了一辆 describe 关于主题,看看是否有一个更大的保留策略的主题,我想可能是覆盖了 server.properties 但运行后主题保留期为1000ms,如下图所示 kafka-topics.sh --zookeeper localhost:2181 --topic create-user --describe
也在我的 server.properties 文件,我的目录设置是 log.dirs=/tmp/kafka-logs 我可以看到它在这个目录中创建了一些日志文件,但是我也看到了一些日志文件在kafka安装的目录(~/kafka dir)中 logs 生长的生态系统。我必须登录到机器上删除这个目录中的每个文件(~/kafka dir/logs),在磁盘空间用完之前的几天,这是非常不方便的。
如何让Kafka删除日志。

qv7cva1a

qv7cva1a1#

不在中存储数据 /tmp 如果你打算保留这些数据。
仅删除闭合段。似乎您仍将段大小设置为1gb
检查代理日志以确保 LogCleaner 实际上正在运行。

相关问题