我安装并配置了confluent kafka。Kafka的堆大小是1gb。 export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" #from /bin/kafka-server-start 我创建了一个只有一个分区的主题“thing data”，并使用一个自动作业每5秒向这个主题中注入一些数据。每条消息的大小都在2400字节左右。
我所看到的是，我的主题最小的偏移量变化太频繁了。这意味着kafka队列能够在给定的时间点保存很少的记录。我在/var/log/kafka/thing-data-0中查看了主题消息日志文件大小/

[hduser@laptop thing-data-0]$ ll

-rw-r--r--. 1 confluent confluent 10485760 Dec 30 17:05 00000000000000148868.index
-rw-r--r--. 1 confluent confluent   119350 Dec 30 17:05 00000000000000148868.log

[hduser@laptop thing-data-0]$ ll

-rw-r--r--. 1 confluent confluent 10485760 Dec 30 17:08 00000000000000148928.index
-rw-r--r--. 1 confluent confluent    54901 Dec 30 17:08 00000000000000148928.log

[hduser@laptop thing-data-0]$ ll

-rw-r--r--. 1 confluent confluent 10485760 Dec 30 17:12 00000000000000148988.index
-rw-r--r--. 1 confluent confluent    38192 Dec 30 17:13 00000000000000148988.log

正如您所看到的，日志文件滚动非常频繁。每次旧文件被标记为.deleted并在配置的时间之后被删除。
下面是与/etc/kafka/server.properties中的日志相关的配置设置。

log.roll.hours=168
log.retention.hours=168  #i tried with log.retention.ms as well .. :-)  
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000

当我重新启动Kafka的文件如下所示。

-rw-r--r--. 1 confluent confluent 10485760 Dec 30 17:21 00000000000000149099.index
-rw-r--r--. 1 confluent confluent        0 Dec 30 17:21 00000000000000149099.log

我怀疑.index文件大小有问题，因为它被设置为最大值（segment.index.bytes默认值为10485760）(我怀疑这是因为Kafka集群在将近一个月的时间里运行良好）
不知道这是怎么回事，任何帮助将不胜感激。
我在下面提供了一些参考资料。
http://kafka.apache.org/documentation/
https://stackoverflow.com/questions/28586008/delete-message-after-consuming-it-in-kafka