了解kafka log.dirs

piah890a  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(1832)

我有kafka集群,log.dirs=/data/kafka被设置到server.properties中的data目录。我的数据分区一直在变满,因为这些日志占了很大一部分(谈到主题目录中的二进制日志(比如000000000000000.log),我在文档中读到了关于这个参数的信息(log.dirs保存日志数据的目录)。如果未设置,则使用log.dir中的值)
而且我还不完全理解它的含义。另外,它们可以被删除吗?应该配置哪些保留?是否建议将其与数据目录分开?谢谢

6rvt4ljy

6rvt4ljy1#

Kafka主题是一个或多个Kafka分区的逻辑分组。每个kafka分区基本上都是磁盘上的(日志)文件。因此,您发布的Kafka数据只存储在这些文件(日志)中。
log.dirs告诉kafka在哪里创建这些文件。因此,每当您有一个新分区时(通过增加现有主题的分区或创建一个新主题),您都会在log.dirs中看到新文件。
不应手动删除此文件夹中的数据。使用log.retention.hours配置kafka应保存数据的时间。

相关问题