我有一个用java编写的源连接器,运行方式是分布式的 offset.storage.topic = connect-offsets
. 在提交任务时填充主题。从我的任务类(扩展org.apache.kafka.connect.source.sourcetask)中,我可以使用 context.offsetStorageReader()
.
有没有办法从连接器类中读取偏移量?
启动或重新启动连接器时,我希望能够使用此信息来决定如何为任务分配分区。我通常有少量的“新”分区和大量的“旧”分区,我需要将所有新分区分配给同一个任务,但“旧”分区可以分配给任何任务。知道分区是否存在条目可以让我找出哪些任务是“新的”(偏移主题没有条目),哪些是“旧的”(偏移主题有条目)。
暂无答案!
目前还没有任何答案,快来回答吧!