使用jmx监控kafka消费者指标

yzckvree  于 2021-06-07  发布在  Kafka
关注(0)|答案(2)|浏览(459)

我尝试将每个jmx的kafka度量导出到prometheus并用grafana显示它们,但是我´我正在努力获得消费者指标(更准确地说,这一点:
Kafka。consumer:type=consumerfetchermanager,name=maxlag,clientid=([-.\w]+))
每次我去拿这个mbean的时候,它都没有´我甚至没有出现。我一直在读我必须“调查客户”或“我´我在看经纪人指标,但我需要消费者指标”,但没有人解释如何做到这一点,所以我´我在问你们能不能帮我。是否有某种配置,或特殊的jmx端口来获取消费者指标或类似的东西?
我的配置文件查找MBean的模式:

- pattern :  kafka.consumer<type=(.+), name=(.+), client-id=(.+)><>(Count|Value) 
  name: kafka_consumer_$1_$2
  Labels:
    clientId: "$3"

另外,我需要用jmx获取度量,因为我没有访问kafka服务器的权限。
我´我以这个项目为例:https://github.com/rama-nallamilli/kafka-prometheus-monitoring

ct3nt3jp

ct3nt3jp1#

我没有确切的配置,但我可以指出的一个错误是,在您的配置中,name不能作为消费者指标的匹配模式。尝试用以下方法移除图案:

- pattern :  kafka.consumer<type=(.+), client-id=(.+)><>(Count|Value)

为了获得更多的参考,你可以查看apachekafka文档,我还遇到了为消费者和生产者创建通用模式的问题。我一弄明白就在这里贴。
@xbollo公司

deikduxw

deikduxw2#

以下两件事是可能的:
答。可能客户已经与Kafka断开连接
b。可能是代理上不存在此度量。它可能在运行使用者代码的jvm应用程序中可见。我不确定,但以下是您可以检查的方法:
在启用jmx的情况下重新启动用户应用程序
使用visualvm连接到上述jvm
它应该显示所有可用的jmx度量。
如果度量包含您选择的度量,那么您看错了地方(经纪人)。如果不是,那我就错了。

相关问题