我一直在研究如何计算Kafka的消费者滞后，我想知道如何使用 __consumer_offset 信息。 __consumer_offset 显示每个主题、分区和组的偏移量，但是如何获得主题大小以计算延迟？
我要做的是将这些数据存储到elasticsearch中进行分析。我可以拉这个 __consumer_offset 使用logtash的数据（以及代理上的jmx数据），但是现在需要获得主题大小来计算延迟。
我一直在研究如何计算Kafka的消费者滞后，我想知道如何使用 __consumer_offset 信息。 __consumer_offset 显示每个主题、分区和组的偏移量，但是如何获得主题大小以计算延迟？
我要做的是将这些数据存储到elasticsearch中进行分析。我可以拉这个 __consumer_offset 使用logtash的数据（以及代理上的jmx数据），但是现在需要获得主题大小来计算延迟。
1条答案
按热度按时间hgncfbus1#
我想到的最好的方法是：a）获取并保存主题/组的每个分区的当前位置b）搜索结束-将所有分区1重新定位到最后一条记录之后c）重新查询这些位置，它等于该分区的项数d）使用（a）中的位置执行seek（分区，位置）以将每个分区设置回其原始位置
很可怕，因为你正在改变/重置原来的位置。