Kafka连接接收器(gcs)仅从最新偏移量读取，是否配置为从最早偏移量读取？

disho6za 于 2021-06-04 发布在 Kafka

关注(0)|答案(1)|浏览(365)

如上所述，我目前正在设置一个kafka连接接收器，将数据从kafka接收到google云存储。
一切都进展顺利，但是-它只是使用最新的可用抵消。也就是说，一旦它开始运行，它只接收新生成的消息到gcs，而不是来自kafka的现有消息。我尝试过删除kafka connect存储/偏移主题，创建新的连接器名称等。但是，它总是从最新的偏移开始。
是否有任何配置Kafka连接地面军事系统接收器的最早偏移量？我没有看到任何配置来处理这个问题
https://docs.confluent.io/current/connect/kafka-connect-gcs/configuration_options.html
或
https://docs.confluent.io/current/connect/references/allconfigs.html
我尝试过删除任何kafka connect主题/文件存储，以及从新的连接器名称开始
我看到kafka connect接收器消息是在连接器启动后生成的。
我期望/需要消息从最早的可用偏移量开始下沉，即如果连接器没有提交偏移量，则从最早的消息开始下沉

apache-kafka apache-kafka-connect confluent-platform

来源：https://stackoverflow.com/questions/57366902/kafka-connect-sink-gcs-only-reading-from-latest-offset-configure-to-read-from

1条答案

按热度按时间

9w11ddsr1#

第一次创建连接器时，默认情况下需要 earliest 抵消。您应该在connect worker日志中看到：

[2019-08-05 23:31:35,405] INFO ConsumerConfig values:
        allow.auto.create.topics = true
        auto.commit.interval.ms = 5000
        auto.offset.reset = earliest
…

您可以通过在worker配置中更改来覆盖此设置： consumer.auto.offset.reset .
删除并重新创建连接器时，偏移量将保留并重新使用。
如果使用新名称创建连接器，它将使用连接辅助进程中设置的偏移量( earliest )默认情况下。

赞(0）回复(0）举报 2021-06-05

我来回答

Kafka连接接收器(gcs)仅从最新偏移量读取，是否配置为从最早偏移量读取？

1条答案

相关问题

热门标签

最新问答