Kafka连接任务生成策略

2izufjch  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(310)

我有一个关于Kafka连接的一般性问题。我查阅了文档、博客,但找不到直接的答案。
如果有两个worker运行单个连接器(示例),那么连接器(示例)如何决定何时生成新任务(例如tasks.max=10)?另外,如果tasks.max=10,连接器(示例)如何决定要生成多少个任务?它是否依赖于底层硬件配置?例如,核心数或内存或cpu利用率?

knsnq2tg

knsnq2tg1#

确切的算法是kafka connect内部的,但它通常与分区和主题的数量有关。因此,例如,如果将tasks.max设置为10,并具有以下接收器连接器配置:

1 topic, 1 partition - then Kafka connect will only spawn a single task
2 topics, 1 partition each - then Kafka connect will spawn 2 tasks, 1 for each topic
2 topics, 5 partitions each - then Kafka connection will spawn 10 tasks, 1 for each topic partition
4 topics, 5 partitions each - the Kafka connection will spawn 10 tasks, each handling data from 2 topic partitions.

在另一个论坛上得到了这个解释。

相关问题