kafka连接器实现:可以从sourcetask获取任务号吗?

1wnzp6jl  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(196)

我正在创建一个kafka连接器,它加载要请求的元素列表。此元素列表正在不同任务之间分发。假设我们有100个元素,4个 tasks.max 配置后,每个任务将有25个元素工作。
我担心的是 tasks.max 表示任务的最大数目,而不是一个稳定的数目。如果Kafka需要,他可以停止一些任务。
我想在每个完整的迭代之后重新计算每个任务中的元素列表,只是为了确保如果任务停止,我们不会丢失任何信息。但要做到这一点,我需要从sourcetask实现内部知道有多少活动任务正在运行,以及我是哪个任务编号。
目前,我正在为sourceconnector实现中的每个任务提供task number和tasks.max值 taskConfigs 方法初始化每个任务。
也许kafka每次升级任务示例时都会重新抛出这个方法(这样我的问题就不存在了)。。。但我找不到任何信息。
提前感谢您的帮助!

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题