我有一个麋鹿设置，其输出直接进入ElasticSearch，而不是进入logstash。我们使用elkver7.3.2，有一个基本的许可证，并且运行在一个linux redhat下。
我们有一个由3个kafka节点和2个cassandra节点组成的拓扑。我可以用默认设置配置metricbeat。这个metricbeat通过这个vm主机收集kafka组和主题名，但是它不足以看到消费者是否下降。
很容易配置一个将ping 3个kafka节点的心跳。
这对我的团队来说还不够。
为什么节拍会选择Kafka的主题？
有没有一个节拍，我可以安装和配置阅读直接从Kafka主题？
有没有办法设置metricbeat从kafka读取数据并输出到elastic search？
1条答案
按热度按时间gorkyyrv1#
metricbeat不仅在系统级别收集度量，而且还从系统上运行的服务收集度量。下面是metricbeat中包含的度量收集模块的列表。该列表涵盖了许多服务和平台，包括Kafka。
至于如何从Kafka主题阅读到ElasticSearch的问题，最明显的方法是使用logstash或kafka connect。elasticsearch有一个受支持的汇合连接器。
从Kafka的主题中直接阅读是没有节拍支持的。但经过一些研究，我发现了一个由justsociallabs开发的。我没试过。我使用logstash和kafka connect的经验非常丰富。但如果你愿意，你可以试试。