我正在使用FileBeat通过LogStash将日志消息加载到ElasticSearch中。日志文件位于Windows网络共享中。FileBeat在Linux机器上运行,其中Windows共享是通过cifsMap的。问题是一些日志文件记录是重复的。有趣的是,重复的记录是在时间上由事件分隔的几个小时内创建的。在FileBeat和LogStash的日志文件中,我不知道“我没有看到任何关键信息。我知道不建议使用FileBeat从网络共享加载日志。据说存在inode值重用问题。但我在FileBeat注册表文件中没有看到一个文件具有不同inode值的记录。FileBeat创建重复消息的原因可能是什么?
更新.这是我的filebeat.yml:
filebeat.inputs:
- type: log
- \\<host_name>\<folder>\*.<service_name>.*.2019*.log
- \\<host_name>\<folder>\*.<service_name>.*.2019*.log...
encoding: Windows-1251
multiline.pattern: '^\d{4}-\d{2}-\d{2}'
multiline.negate: true
multiline.match: after
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
setup.template.settings:
index.number_of_shards: 3
output.logstash:
hosts: ["<some_ip_address>:5044"]
enabled: true
processors:
- add_host_metadata: ~
- add_cloud_metadata: ~
1条答案
按热度按时间xam8gpfp1#
删除目录
/var/lib/filebeat/registry
,这样应该可以修复它,在我的例子中就是这样。