我不熟悉这个主题。
我找到了一个特定主题的kafka消费者的总消费量,并使用下面的查询显示在我的grafana Jmeter 板上。
Kafka消费记录消费记录总数{job=“$application”,instance=“$instance”,client\u id=~“$client\u id”,topic=~“$topic”}
现在我必须把警报放在同一个/或不同的图表上,以比较特定时间的最后一天总消耗量和直到一天的特定时间消耗量。
例如:假设今天16:00到16:05之间的消息总消耗量是10k,而昨天16:00到16:05之间的消息总消耗量大约是12k。这显示了与昨天相比,同一时间内减少了2k条消息。所以我想提醒一下。
我如何实现它?请帮助在查询或一些适当的链接相同。
提前谢谢你的建议。
1条答案
按热度按时间6tr1vspr1#
你可以这样做,但事实上,你是消费2k的消息比昨天少了一个给定的时间并不一定意味着你的消费者出了问题。
这真的取决于你的交通模式-也许你收到的信息越来越少?
如果您试图了解接收到的数据是否比昨天少,则可以监视
BytesInPerSec
以及MessagesInPerSec
.对消费者相关问题进行监控和提醒的一个适当方法可能是延迟监控。
lag基本上表示应用程序在处理实时数据方面落后了多少。
当消费来自Kafka的信息时,通常的做法是使用消费群体。
consumer group lag是分区最后生成的消息(可用的最新消息)和最后提交的消息(最后处理或读取的消息)之间的差异。例如,如果一个分区中总共有130条消息,并且我们提交了多达100条,那么该分区的使用者组延迟是30条消息/偏移量。
来源
有几个选择在那里-你可以尝试穴居,轻弯或雷莫拉。
您可以在lightbend post或sematext post中阅读有关此主题的更多信息。