两个(Kafka)s3连接器不同时工作

9jyewag0  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(357)

我有一个kafka connect在一个集群(3个节点)中工作,有1个连接器(主题->s3),一切正常:

root@dev-kafka1 ~]# curl localhost:8083/connectors/s3-postgres/status | jq -r
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   219  100   219    0     0  36384      0 --:--:-- --:--:-- --:--:-- 43800
{
  "name": "s3-postgres",
  "connector": {
    "state": "RUNNING",
    "worker_id": "127.0.0.1:8083"
  },
  "tasks": [
    {
      "state": "RUNNING",
      "id": 0,
      "worker_id": "127.0.0.1:8083"
    },
    {
      "state": "RUNNING",
      "id": 1,
      "worker_id": "127.0.0.1:8083"
    }
  ],
  "type": "sink"
}

但是当我创建另一个连接器时,任务状态总是这样:

[root@dev-kafka1 ~]# curl localhost:8083/connectors/s3-postgres6/status | jq -r
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   109  100   109    0     0  14347      0 --:--:-- --:--:-- --:--:-- 15571
{
  "name": "s3-postgres6",
  "connector": {
    "state": "RUNNING",
    "worker_id": "127.0.0.1:8083"
  },
  "tasks": [],
  "type": "sink"
}

我不知道为什么我在配置中出错了,同一个插件的两个连接器不能一起工作,如果我停止了运行正常的连接器#1,重启后的连接器#2,工作正常。有人知道我应该改变什么吗?

4ngedf3f

4ngedf3f1#

如果不搜索日志,很难说到底是什么问题,甚至可能会临时更改日志以调试详细信息,但根据连接器属性,kafka connect可能非常需要内存。
因此,我建议在独立于kafka代理的机器上运行connect本身,并通过导出 KAFKA_HEAP_OPTS 变量

相关问题