java—从连接器访问偏移存储

sigwle7e  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(196)

我有一个用java编写的源连接器,运行方式是分布式的 offset.storage.topic = connect-offsets . 在提交任务时填充主题。从我的任务类(扩展org.apache.kafka.connect.source.sourcetask)中,我可以使用 context.offsetStorageReader() .
有没有办法从连接器类中读取偏移量?
启动或重新启动连接器时,我希望能够使用此信息来决定如何为任务分配分区。我通常有少量的“新”分区和大量的“旧”分区,我需要将所有新分区分配给同一个任务,但“旧”分区可以分配给任何任务。知道分区是否存在条目可以让我找出哪些任务是“新的”(偏移主题没有条目),哪些是“旧的”(偏移主题有条目)。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题