我有一个kafka connect在一个集群(3个节点)中工作,有1个连接器(主题->s3),一切正常:
root@dev-kafka1 ~]# curl localhost:8083/connectors/s3-postgres/status | jq -r
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 219 100 219 0 0 36384 0 --:--:-- --:--:-- --:--:-- 43800
{
"name": "s3-postgres",
"connector": {
"state": "RUNNING",
"worker_id": "127.0.0.1:8083"
},
"tasks": [
{
"state": "RUNNING",
"id": 0,
"worker_id": "127.0.0.1:8083"
},
{
"state": "RUNNING",
"id": 1,
"worker_id": "127.0.0.1:8083"
}
],
"type": "sink"
}
但是当我创建另一个连接器时,任务状态总是这样:
[root@dev-kafka1 ~]# curl localhost:8083/connectors/s3-postgres6/status | jq -r
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 109 100 109 0 0 14347 0 --:--:-- --:--:-- --:--:-- 15571
{
"name": "s3-postgres6",
"connector": {
"state": "RUNNING",
"worker_id": "127.0.0.1:8083"
},
"tasks": [],
"type": "sink"
}
我不知道为什么我在配置中出错了,同一个插件的两个连接器不能一起工作,如果我停止了运行正常的连接器#1,重启后的连接器#2,工作正常。有人知道我应该改变什么吗?
1条答案
按热度按时间4ngedf3f1#
如果不搜索日志,很难说到底是什么问题,甚至可能会临时更改日志以调试详细信息,但根据连接器属性,kafka connect可能非常需要内存。
因此,我建议在独立于kafka代理的机器上运行connect本身,并通过导出
KAFKA_HEAP_OPTS
变量