logstash 是否可以为filebeat配置多个输出?

3df52oht  于 2022-12-09  发布在  Logstash
关注(0)|答案(1)|浏览(475)

在我们的一个应用程序中,我们使用logstash解析应用程序日志,并将它们索引到elasticsearch中。我们的简单架构是logfiles ---〉filebeat---〉logstash----〉elasticsearch。
由于我们启用了多个日志文件示例(apachelogs、passengerlogs、应用程序日志等),logstash无法解析大量数据,因此在elasticsearch中缺少日志。是否有任何方法可以处理logstash中的大量数据,或者我们是否可以使用多个logstash服务器根据日志类型从filebeat接收日志?例如:应用程序日志将输出logstash-1和apachelogs发送到logstash-2。
先谢谢你。

guykilcj

guykilcj1#

目前无法在Filebeat中多次定义相同的输出类型。
但有几个选项来实现你想要的:

  • 您可以使用filebeat中的loadbalance选项将事件分发到多个Logstash。默认情况下,beat将随机选择一个主机并将其固定。
  • 使用一个队列,如kafka和make logstash使用Kafka输入,这将允许您根据需要添加更多的LS。

相关问题