我有一个kafka连接源任务连接器(jdbc postgres连接器),我可以查看 kafka_connect_source_task_source_record_active_count_avg
此连接器的公制。我注意到图表如下所示:
所以我们偶尔会看到100条记录。如果我把度量从 _avg
至 max
实际上,台阶的尺寸是100。
不过,我不确定如何解释这些信息。这是否意味着现在(图表的末尾)有超过1100张唱片没有被Kafka接受,而且他们已经这样做了好几个星期了?我想知道为什么这个值没有减少。连接器在一个非常活跃的数据库中,所以如果它总是“落后”的话(这个词对吗?)。但我想知道,它是否至少总是在信息的背后发挥作用,或者它是否在“积累”某些信息,而这些信息从来没有因为这样或那样的原因被Kafka接受,这个数字是否反映了这些“卡住”的信息。
1条答案
按热度按时间kqlmhetl1#
源记录活动计数
:此任务已生成但尚未完全写入Kafka的最新记录数。
https://cwiki.apache.org/confluence/display/kafka/kip-196%3a+add+metrics+to+kafka+connect+framework#kip196:addmetricstokafkaconnectframework源任务度量
你也可以画出你正在生成的主题的偏移量,看看它们是否遵循相同的增加步骤
另一种方法是使用debezium而不是jdbc源代码