问题是Filebeats正在向Elasticsearch发送重复的日志，当我重新启动Filebeats时，他再次发送整个日志。我一直在将/var/share/filebeat/data挂载到运行Filebeats的容器中，还更改了共享目录的权限，使其归filebeats用户所有。我正在使用Elasticsearch 8.1.2
vd2z7a6w1#
最可能的原因是filebeat注册表的永久卷位置。本质上，filebeat创建注册表来跟踪所有处理的日志文件以及偏移量。如果此注册表未存储在永久位置（例如存储到/tmp）并且重新启动文件节拍，注册表文件将丢失，并将创建新文件。这将告诉filebeat从头开始跟踪指定路径中存在的所有日志文件，因此会出现重复日志。要解决此问题，请挂载一个持久卷到filebeat（可能是hostpath）并且配置它到是使用为存储注册表.
1条答案
按热度按时间vd2z7a6w1#
最可能的原因是filebeat注册表的永久卷位置。本质上，filebeat创建注册表来跟踪所有处理的日志文件以及偏移量。如果此注册表未存储在永久位置（例如存储到/tmp）并且重新启动文件节拍，注册表文件将丢失，并将创建新文件。这将告诉filebeat从头开始跟踪指定路径中存在的所有日志文件，因此会出现重复日志。要解决此问题，请挂载一个持久卷到filebeat（可能是hostpath）并且配置它到是使用为存储注册表.