我期待着从一个特定的web应用程序中实时收集日志流量，以便对我的基础设施的性能进行概述。作为工具，我将使用elk而不是splunk，由于一些文章，他们非常推荐使用kafka与logstash，但直到现在我不知道的目的，事实上，我的主要目的是设置应用程序的基本模块，所以我必须得到回应。
c6ubokkw1#
为了简化这个部署，web服务器后端可以直接登录到kafka。如果您有日志文件，则可以使用filebeat或fluentd的kafka输出，而不是logstash。logstash本质上是一个聚合器，可以在 inputs -> filters -> outputs Kafka是一个输出选项，而不是通常只有ElasticSearch。我在logstash+filebeat中看到的问题是，必须重新启动所有进程和配置，才能添加类似于splunkforwarder的输入事件源，而且如果没有logstash config中一些疯狂的标记逻辑，就无法很容易地为每个输入配置唯一的主题。我认为，更具可伸缩性的解决方案是，将数据源配置为Kafka主题。Kafka被推荐的主要原因是在持久队列之前
inputs -> filters -> outputs
1条答案
按热度按时间c6ubokkw1#
为了简化这个部署，web服务器后端可以直接登录到kafka。
如果您有日志文件，则可以使用filebeat或fluentd的kafka输出，而不是logstash。
logstash本质上是一个聚合器，可以在
inputs -> filters -> outputsKafka是一个输出选项，而不是通常只有ElasticSearch。我在logstash+filebeat中看到的问题是，必须重新启动所有进程和配置，才能添加类似于splunkforwarder的输入事件源，而且如果没有logstash config中一些疯狂的标记逻辑，就无法很容易地为每个输入配置唯一的主题。我认为，更具可伸缩性的解决方案是，将数据源配置为Kafka主题。
Kafka被推荐的主要原因是在持久队列之前