我正在用flink做一些测试，作为与其他流媒体平台的比较。测试的数据源是一个Kafka主题，有不同数量的流量，我试图弄清楚Flink是否跟上了。有没有办法知道Flink对Kafka消费者施加了多大的“背压”？它跟得上吗？
qmb5sa221#
Kafka2.11-0.10.0.0中，不推荐使用消费者补偿检查器，Kafka消费者组按组进行补偿检查。在我的例子中，我没有看到任何团体被列为Kafka消费团体就Flinkkafka消费者而言。对于flink kafka，consumer group.id对于偏移量监视没有多大用处。你可以在flink kafka consumer groupid not working上找到更多信息
ve7v8dk22#
apachekafka项目提供了一些工具，可以从zookeeper中获取主题和消费者信息。在这种情况下，可以使用 ConsumerOffsetChecker .工具将向您输出的是“偏移滞后”，即分区中最新偏移量和当前使用者位置之间的差异。请注意，flink正在以检查点间隔的频率大致更新zookeeper中的偏移量，因此您看到的信息不是100%准确，因为它不考虑飞行中的记录。但它会给你一个非常好的主意，是否背压正在建立，或如果一切顺利。顺便说一下，如果您体验到flink无法在主题生成时使用该主题中的数据，请向邮件列表中的flink开发人员寻求帮助。在我最近做的一些实验中，我发现flink的kafka消费者能够以非常高的吞吐量阅读。
ConsumerOffsetChecker
2条答案
按热度按时间qmb5sa221#
Kafka2.11-0.10.0.0中，不推荐使用消费者补偿检查器，Kafka消费者组按组进行补偿检查。
在我的例子中，我没有看到任何团体被列为Kafka消费团体就Flinkkafka消费者而言。
对于flink kafka，consumer group.id对于偏移量监视没有多大用处。你可以在flink kafka consumer groupid not working上找到更多信息
ve7v8dk22#
apachekafka项目提供了一些工具，可以从zookeeper中获取主题和消费者信息。在这种情况下，可以使用
ConsumerOffsetChecker.工具将向您输出的是“偏移滞后”，即分区中最新偏移量和当前使用者位置之间的差异。
请注意，flink正在以检查点间隔的频率大致更新zookeeper中的偏移量，因此您看到的信息不是100%准确，因为它不考虑飞行中的记录。但它会给你一个非常好的主意，是否背压正在建立，或如果一切顺利。
顺便说一下，如果您体验到flink无法在主题生成时使用该主题中的数据，请向邮件列表中的flink开发人员寻求帮助。在我最近做的一些实验中，我发现flink的kafka消费者能够以非常高的吞吐量阅读。