Kafka消费者滞后监测linkedin/burrow间歇性“跳跃”

i7uq4tfw  于 2021-06-08  发布在  Kafka
关注(0)|答案(0)|浏览(269)

我们使用的是最新的主版本(在撰写本文时:https://github.com/linkedin/burrow/commit/12e681a3a8a61f84f17677996dc3e6a2b79fac41)我们的Kafka经纪人正在运行1.1.0,我们最近从https://github.com/morningstar/kafka-offset-monitor 因为我们正在向集群添加授权。
现在,我们大多数消费者的滞后大部分时间都是0(根据burrow,而在kafka offset monitor上,他们大部分时间都在1k-100k左右-从我们的Angular 来看,这两个都是正常的)。由于我们不知道的原因,消费者滞后“跳跃”,例如从0到14亿(!)从一分钟到下一分钟,再过一分钟再回来。我们有大约20个消费者在我们的主题,他们所有的滞后跳-但数量不同。有些“只”从1k跳到1m,另一些从0跳到上面描述的数十亿。
还有人看到这个吗?是否有已知的原因或我们必须调整配置我们没有更改任何关于评估或通知的默认配置。。。
我们使用https://github.com/rgannu/burrow-graphite 向石墨公司报告,我们的报警系统基于这些指标。。。
感谢您的帮助

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题