我期待着从一个特定的web应用程序中实时收集日志流量,以便对我的基础设施的性能进行概述。作为工具,我将使用elk而不是splunk,由于一些文章,他们非常推荐使用kafka与logstash,但直到现在我不知道的目的,事实上,我的主要目的是设置应用程序的基本模块,所以我必须得到回应。
c6ubokkw1#
为了简化这个部署,web服务器后端可以直接登录到kafka。如果您有日志文件,则可以使用filebeat或fluentd的kafka输出,而不是logstash。logstash本质上是一个聚合器,可以在 inputs -> filters -> outputs Kafka是一个输出选项,而不是通常只有ElasticSearch。我在logstash+filebeat中看到的问题是,必须重新启动所有进程和配置,才能添加类似于splunkforwarder的输入事件源,而且如果没有logstash config中一些疯狂的标记逻辑,就无法很容易地为每个输入配置唯一的主题。我认为,更具可伸缩性的解决方案是,将数据源配置为Kafka主题。Kafka被推荐的主要原因是在持久队列之前
inputs -> filters -> outputs
1条答案
按热度按时间c6ubokkw1#
为了简化这个部署,web服务器后端可以直接登录到kafka。
如果您有日志文件,则可以使用filebeat或fluentd的kafka输出,而不是logstash。
logstash本质上是一个聚合器,可以在
inputs -> filters -> outputs
Kafka是一个输出选项,而不是通常只有ElasticSearch。我在logstash+filebeat中看到的问题是,必须重新启动所有进程和配置,才能添加类似于splunkforwarder的输入事件源,而且如果没有logstash config中一些疯狂的标记逻辑,就无法很容易地为每个输入配置唯一的主题。我认为,更具可伸缩性的解决方案是,将数据源配置为Kafka主题。
Kafka被推荐的主要原因是在持久队列之前