apache kafka的监视ui-kafka管理器与kafka监视器

iovurdzv  于 2021-06-07  发布在  Kafka
关注(0)|答案(4)|浏览(717)

关闭。这个问题是基于意见的。它目前不接受答案。

去年关门了。

锁定。这个问题和它的答案是锁定的,因为这个问题是离题的,但有历史意义。它目前不接受新的答案或互动。

我是Kafka的新人。我们想监督和管理Kafka的主题。我们尝试了不同的开源监控工具,比如
Kafka监视器
Kafka经理
两种工具都很好。但我们无法做出应该包含在部署堆栈中的决定。哪一个更好?为什么?在哪种情况下?
雅虎的“Kafka经理”看起来比较老,linkedin的“Kafka监视器”看起来比较新
Kafka监视器-

txu3uszq

txu3uszq1#

kafka监视器是一个(尽管名称不同)负载生成和报告工具。雅虎的Kafka管理器是一个全面的监控工具。

hivapdat

hivapdat2#

镜头
lenses(ex landoop)通过用户界面、流式sql引擎和集群监控增强了kafka。它可以更快地监控Kafka数据管道。
他们提供了一个免费的一体式docker(lenses-box),可以为单个代理提供多达2500万条消息。请注意,这是推荐用于开发环境的。
cloudera smm公司
streams messaging manager是用于监视和管理运行cloudera或hortonworks kafka的集群的解决方案。它还具有复制功能。
汇合
另一种选择是confluent enterprise,它是针对生产环境的kafka发行版。它还包括controlcenter,这是apachekafka的一个管理系统,支持从用户界面进行集群监视和管理。
yahoo cmak(apache kafka的群集管理器,以前称为kafka管理器)
kafka manager或cmak是一种用于监视kafka的工具,与上述工具相比,它提供的功能较少。
卡夫德罗普
kafdrop是用于监视apachekafka集群的ui。该工具显示代理、主题、分区等信息,甚至允许您查看消息。它是一个轻量级应用程序,在spring boot上运行,只需要很少的配置。
linkedin burrow公司
burrow是ApacheKafka的监视伙伴,它将消费者延迟检查作为一项服务提供,而不需要指定阈值。它监视所有消费者的承诺补偿,并根据需要计算这些消费者的状态。提供了一个http端点来按需请求状态,并提供其他kafka集群信息。还有一些可配置的通知程序,可以通过电子邮件或http调用将状态发送到另一个服务。
Kafka工具
kafka工具是一个用于管理和使用apachekafka集群的gui应用程序。它提供了一个直观的用户界面,允许用户快速查看Kafka集群中的对象以及集群主题中存储的消息。它包含面向开发人员和管理员的特性。
如果你买不起许可证,那就去雅虎Kafka经理,linkedin burrow或kafdrop。confluent和landoop的产品是最好的,但不幸的是,它们需要许可证。
有关更多详细信息,请参阅我的博客文章“ApacheKafka集群ui监控工具概述”。

kuarbcqp

kuarbcqp3#

在我的公司,我们使用了雅虎的产品,我们调查了linkedin的产品,还有其他一些提到的产品。我的公司最终选择使用普罗米修斯+格拉法纳。每个人都喜欢它,我强烈推荐它。
普罗米修斯+格拉法纳有两大优势。第一个是它做全功能Kafka指标摄取+可视化+警报,但它不限于Kafka。虽然我们最初的需求只是监视kafka,但我们还需要http服务器+流量、服务器利用率(cpu/ram/disk)和自定义应用程序级别的指标。普罗米修斯处理以上所有的事情。其次,普罗米修斯+格拉法纳的质量非常高,设计精良,使用方便。这个领域的很多其他产品都很旧,而且很复杂。普罗米修斯+格拉法纳都是优秀的工作,他们是非常定制,抛光,易于使用。grafana有一个非常华而不实且功能强大的javascript界面,可以让您精确地定制所需的 Jmeter 盘。普罗米修斯有一个非常完善的度量收集引擎、存储引擎、查询语言和警报系统。类似yahoo kafka manager的功能在所有这些类别中都非常有限。
如果你想尝试普罗米修斯,你需要做两件事:
1) 在您的kafka代理上安装并配置jmx->prometheus exporter:https://github.com/prometheus/jmx_exporter
2) 设置一个prometheus服务器来收集metrics+,并设置一个grafana Jmeter 板来显示所需的图形。
我还想说,这只是为了监视+ Jmeter 板+警报。对于管理功能,您仍然需要其他工具。

ukxgm1gy

ukxgm1gy4#

如果您想为许可和kafka集群支持付费,那么可以使用confluent control center
或者,免费的方法是使用datadog和/或prometheus/influxdb的jmx导出程序(带有grafana Jmeter 盘)查看整个系统的运行状况检查(cpu、网络、内存等)。。。比仅通过使用kafka工具监视kafka流程获得的信息要多得多

相关问题