confluent 5.0.0 kafka connect hdfs接收器:无法描述升级后kafka connect使用者组延迟

lf5gs5x2  于 2021-06-06  发布在  Kafka
关注(0)|答案(1)|浏览(356)

我们从confluent 4.0.0升级到5.0.0,升级后我们无法列出kafka connect hdfs接收器连接器。

$ /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server <hostname>:9092 --list | grep scribe_log_backend
Note: This will not show information about old Zookeeper-based consumers.
connect-kconn_scribe_log_backend
$ /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server <hostname>:9092 --group connect-kconn_scribe_log_backend --describe
Note: This will not show information about old Zookeeper-based consumers.
$

kafka 2.0/confluent 5.0.0中的consumer group命令是否有任何修改?如何跟踪我们需要基于此延迟发出警报的延迟?我们的经纪人使用Kafka1.1.0版。升级后,在kafka管理器中也看不到connect consumer组。kafka connect没有问题,因为连接器能够写入hdfs。谢谢。

6qftjkof

6qftjkof1#

kafka connect hdfs连接器不再提交偏移量,因此没有任何延迟计算依据。
恢复是基于文件命名约定是hdfs,文件名有分区和偏移信息。

相关问题