Kafka有太多打开的文件,许多小日志,有很高的ulimit和大约5k段

jtw3ybtb  于 2021-06-06  发布在  Kafka
关注(0)|答案(0)|浏览(359)

它一直让Kafka报告“打开的文件太多”。我只是重新开始清理,但10分钟左右后,我结束了与

lsof | grep cp-kafka | wc -l:
454225

工艺限制:

Limit                     Soft Limit           Hard Limit           Units
Max cpu time              unlimited            unlimited            seconds
Max file size             unlimited            unlimited            bytes
Max data size             unlimited            unlimited            bytes
Max stack size            8388608              unlimited            bytes
Max core file size        0                    unlimited            bytes
Max resident set          unlimited            unlimited            bytes
Max processes             96186                96186                processes
Max open files            800000               800000               files
Max locked memory         16777216             16777216             bytes
Max address space         unlimited            unlimited            bytes
Max file locks            unlimited            unlimited            locks
Max pending signals       96186                96186                signals
Max msgqueue size         819200               819200               bytes
Max nice priority         0                    0
Max realtime priority     0                    0
Max realtime timeout      unlimited            unlimited            us

我已将retention.hours设置为-1,因为我希望保留过去的所有日志。在我的server.properties中,我有100mb的段文件,但由于某些原因,kafka会生成10mb的日志。奇怪的是,我“只”在日志目录中有相对较少的文件。

find | wc -l
5884

我不明白我做错了什么。
我在ubuntu18.04上安装了合流的kafka-deb包。
Kafka2.0
每条消息大约500字节
自动创建主题为真
一个目录,我的消息对于时间索引来说是否太小了?

rw-r--r--  1  2.2K Sep 30 10:03 00000000000000000000.index  
rw-r--r--  1  1.2M Sep 30 10:03 00000000000000000000.log  
rw-r--r--  1  3.3K Sep 30 10:03 00000000000000000000.timeindex  
rw-r--r--  1   560 Sep 30 10:03 00000000000000004308.index  
rw-r--r--  1  293K Sep 30 10:03 00000000000000004308.log  
rw-r--r--  1    10 Sep 30 10:03 00000000000000004308.snapshot  
rw-r--r--  1   840 Sep 30 10:03 00000000000000004308.timeindex  
rw-r--r--  1   10M Sep 30 10:03 00000000000000005502.index  
rw-r--r--  1   97K Sep 30 10:04 00000000000000005502.log  
rw-r--r--  1    10 Sep 30 10:03 00000000000000005502.snapshot  
rw-r--r--  1   10M Sep 30 10:03 00000000000000005502.timeindex

在服务器配置中还添加了以下行:;索引保持最大10mb

log.segment.bytes=1073741824
log.segment.index.bytes=1073741824

顺便说一句,我发送的信息与时间戳在过去,与日志保留1000年。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题