计算总消费者滞后Kafka的预定脚本

lrl1mhuk  于 2021-06-06  发布在  Kafka
关注(0)|答案(1)|浏览(729)

我想写一个脚本来计算每个使用者/分区的总延迟。我知道总司令部。
bin/kafka consumer groups-引导服务器:9092,:9092,:9092--描述--组
解析数据并将其打印到日志的最佳方法是什么?每次运行这个命令时,我都会添加时间戳以及主题名和使用者延迟。因此,我可以将数据发送到ElasticSearch,并对每个消费者的总延迟与时间进行度量。
我们不想使用工具Kafka管理器和穴居Kafka版本1.1.0
谢谢,

yiytaume

yiytaume1#

我个人的方法是显示消费者组,然后使用grep命令只选择滞后部分,grep命令通过管道传输到awk命令中,awk命令对滞后值求和。
所以在结尾加上这个:

| grep -E "LAG|*" |  awk '{SUM += $5} END { print SUM}'

如果awk$5与lag列不匹配,你可以玩一下。希望这有帮助和工作:d

相关问题