elasticsearch FileBeat创建的重复邮件

zpf6vheq  于 2022-11-02  发布在  ElasticSearch
关注(0)|答案(1)|浏览(126)

我正在使用FileBeat通过LogStash将日志消息加载到ElasticSearch中。日志文件位于Windows网络共享中。FileBeat在Linux机器上运行,其中Windows共享是通过cifsMap的。问题是一些日志文件记录是重复的。有趣的是,重复的记录是在时间上由事件分隔的几个小时内创建的。在FileBeat和LogStash的日志文件中,我不知道“我没有看到任何关键信息。我知道不建议使用FileBeat从网络共享加载日志。据说存在inode值重用问题。但我在FileBeat注册表文件中没有看到一个文件具有不同inode值的记录。FileBeat创建重复消息的原因可能是什么?

更新.这是我的filebeat.yml:

filebeat.inputs:
- type: log
    - \\<host_name>\<folder>\*.<service_name>.*.2019*.log
    - \\<host_name>\<folder>\*.<service_name>.*.2019*.log...
  encoding: Windows-1251
  multiline.pattern: '^\d{4}-\d{2}-\d{2}'
  multiline.negate: true
  multiline.match: after  

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

setup.template.settings:
  index.number_of_shards: 3

output.logstash:
  hosts: ["<some_ip_address>:5044"]
  enabled: true

processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~
xam8gpfp

xam8gpfp1#

删除目录/var/lib/filebeat/registry,这样应该可以修复它,在我的例子中就是这样。

相关问题