带有多个任务的分布式官方mongodb kafka源连接器不工作

dzjeubhm  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(492)

我在我的windows机器上运行apachekafka,有两个kafka connect worker(端口8083、8084),一个主题有三个分区(一个分区的复制)。我的问题是,每当我关闭其中一个kafka connect worker时,我都能够看到故障转移到另一个kafka connect worker,但是负载平衡没有发生,因为任务数总是一个。我使用官方的mongodbkafka连接器作为tasks.max=6的源(changestream)。我尝试用多个线程更新mongodb,这样它就可以将更多的数据推入kafka connect,并可能使kafka connect创建更多的任务。即使在数据量较大的情况下,任务数仍然是1。
我如何确认只有一个任务正在运行?“通过api”http://localhost:8083/connectors/mongodb connector/status“:响应: { "name":"mongodb-connector", "connector": { "state":"RUNNING", "worker_id":"xx.xx.xx.xx:8083" } "tasks": [ { "id": 0, "state": "RUNNING" "worker_id": "xx.xx.xx.xx:8083" } ], "type": "source" } 我是不是漏了什么?为什么不创建更多的任务?

qxgroojn

qxgroojn1#

看来这是官方mongodbKafka源码连接器的行为。这是我在另一个论坛上从ross lawley(mongodb开发者)那里得到的答案:
在1.2.0之前,接收器连接器只支持单个任务。源连接器仍然只支持单个任务,这是因为它使用单个变更流游标。这足以监视和发布集群范围、数据库范围或下至单个集合的更改。
我开了这张罚单:https://jira.mongodb.org/browse/kafka-121 得到以下响应:源连接器将只生成一个任务。这是设计上的,因为源连接器由变更流支持。更改流在内部使用的数据与复制引擎使用的数据相同,因此应该能够像数据库那样进行扩展。没有允许多个游标的计划,但是,如果您觉得这不符合您的需求,那么您可以配置多个连接器,每个连接器都有自己的变更流游标。

相关问题