我必须像这样构建一个日志集群和监控集群（用于高可用性）。我想知道如何配置这些日志托运人集群我在图像中有2个地形图）
如果我在kafka集群中使用带有filebeat的kafka，ElasticSearch会因为kafka在数据中有副本而接收到重复数据吗？
如果我使用logstash（在ElasticSearch集群中）从kafka集群获取日志，那么配置应该是怎样的，因为我认为logstash不知道在哪里读取kafka集群上的日志效率。
群集拓扑
谢谢你的阅读。如果你有任何想法，请与我讨论^^！
我必须像这样构建一个日志集群和监控集群（用于高可用性）。我想知道如何配置这些日志托运人集群我在图像中有2个地形图）
如果我在kafka集群中使用带有filebeat的kafka，ElasticSearch会因为kafka在数据中有副本而接收到重复数据吗？
如果我使用logstash（在ElasticSearch集群中）从kafka集群获取日志，那么配置应该是怎样的，因为我认为logstash不知道在哪里读取kafka集群上的日志效率。
群集拓扑
谢谢你的阅读。如果你有任何想法，请与我讨论^^！
1条答案
按热度按时间pdtvr36n1#
我看到这两种配置都与kafka兼容，您可以在consumer和producer阶段使用filebeat、logstash或混合它们！
imho完全取决于您的需求，即：有时我们使用一些过滤器来丰富数据，然后再摄取到kafka（生产者阶段），或者在将数据索引到elastic（消费者阶段），在这种情况下，使用logsatsh更好，因为使用过滤器比使用filebeat更容易
但是如果你想处理原始数据，也许filebeat更好，因为代理更轻。
关于您的问题：
kafka对数据进行了复制，但是对于ha Propuses，您只能读取同一消费群体的一次数据
对于使用logstash从kafka读取日志，可以使用用于kafka的logstash输入插件，这很简单而且工作正常！
https://www.elastic.co/guide/en/logstash/current/plugins-inputs-kafka.html