我有一个Kafka连接Flume运行。我想监控一下这个的延迟。
我可以通过炮击代理并使用 kafka-consumer-groups
像这样的工具:
unset JMX_PORT; /usr/bin/kafka-consumer-groups --bootstrap-server localhost:9092 --group connect-<my-kafka-connect-connector> --describe
这会给我一些类似于:
GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
connect-<my-kafka-connect-connector> <my-topic> 0 1414248272 2775658553 1361410281 connector-consumer-<my-kafka-connect-connector>-<uuid> /<my-host-ip> connector-consumer-<my-kafka-connect-connector>-0
这就是我想要的滞后信息,但是我想要一个普罗米修斯指标,我可以把它放在 Jmeter 板上,监视和设置警报。
我正在接受kafka代理度量和kafka connect度量,它们似乎都没有这些信息。我已经把普罗米修斯的公制输出和 curl
以及 grep
而这些信息并不存在。
我正在运行Kafka连接通过官方汇合舵图(https://github.com/confluentinc/cp-helm-charts/tree/master/charts/cp-kafka-connect)默认普罗米修斯指标导出。这是可行的,我可以得到基本的指标,但没有关于滞后的信息:
kubectl -n kafka exec -it kafka-connect-cp-kafka-connect-<id> -c cp-kafka-connect-server /bin/bash
# This will show exactly one metric with simple "running" status.
curl localhost:5556/metrics | grep <my-topic-name-or-connector-name>
cp_kafka_connect_connect_connector_metrics{connector="<my-connector-name>",status="running",task="0",} 1.0
我看到第三方加载项如下所示:https://github.com/lightbend/kafka-lag-exporter
这似乎正是我想要的,但我宁愿不添加另一个第三方组件到我的生产设置,除非绝对必要。我真的需要一个第三方实用程序来获得如此基本的东西吗?如果第三方工具是必要的,是否有类似的第三方工具,我应该评估或考虑?
暂无答案!
目前还没有任何答案,快来回答吧!