Kafka连接消费群体滞后指标?

weylhg0b  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(194)

我有一个Kafka连接Flume运行。我想监控一下这个的延迟。
我可以通过炮击代理并使用 kafka-consumer-groups 像这样的工具:

unset JMX_PORT; /usr/bin/kafka-consumer-groups --bootstrap-server localhost:9092 --group connect-<my-kafka-connect-connector> --describe

这会给我一些类似于:

GROUP                                 TOPIC                 PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                                                             HOST            CLIENT-ID
connect-<my-kafka-connect-connector>  <my-topic>            0          1414248272      2775658553      1361410281      connector-consumer-<my-kafka-connect-connector>-<uuid>                                  /<my-host-ip>   connector-consumer-<my-kafka-connect-connector>-0

这就是我想要的滞后信息,但是我想要一个普罗米修斯指标,我可以把它放在 Jmeter 板上,监视和设置警报。
我正在接受kafka代理度量和kafka connect度量,它们似乎都没有这些信息。我已经把普罗米修斯的公制输出和 curl 以及 grep 而这些信息并不存在。
我正在运行Kafka连接通过官方汇合舵图(https://github.com/confluentinc/cp-helm-charts/tree/master/charts/cp-kafka-connect)默认普罗米修斯指标导出。这是可行的,我可以得到基本的指标,但没有关于滞后的信息:

kubectl -n kafka exec -it kafka-connect-cp-kafka-connect-<id> -c cp-kafka-connect-server /bin/bash

# This will show exactly one metric with simple "running" status.

curl localhost:5556/metrics | grep <my-topic-name-or-connector-name>

cp_kafka_connect_connect_connector_metrics{connector="<my-connector-name>",status="running",task="0",} 1.0

我看到第三方加载项如下所示:https://github.com/lightbend/kafka-lag-exporter
这似乎正是我想要的,但我宁愿不添加另一个第三方组件到我的生产设置,除非绝对必要。我真的需要一个第三方实用程序来获得如此基本的东西吗?如果第三方工具是必要的,是否有类似的第三方工具,我应该评估或考虑?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题