多组共享相同配置的分布式kafka源连接器

kq4fsx7k 于 2021-06-04 发布在 Kafka

关注(0)|答案(1)|浏览(299)

我有两个Kafka连接器节点说节点-a和节点-b。
我在每个节点上运行一个分布式worker（指向同一个kafka集群）。
组id和客户端id在两个分布式worker中都是唯一的。
在两个节点上使用http post请求成功创建连接器任务。连接器任务为同一主题生成消息。
注意：我知道分布式工作者应该具有相同的组id来分配任务。但我是在做上面提到的一个具体案例作为实验。
我使用来自node的httpget请求，例如http://localhost：8083/连接器
http响应（来自node-a）显示从两个节点（即从node-a和node-b）创建的连接器，而我希望响应应该只生成从node-a创建的连接器，而不是从node-b创建的连接器。
我想知道这两个分布式工作者之间共享了什么，以及如何覆盖此共享？

apache-kafka apache-kafka-connect

来源：https://stackoverflow.com/questions/58103854/distributed-kafka-source-connectors-with-multiple-groups-sharing-same-configurat

1条答案

按热度按时间

s6fujrry1#

http响应（来自node-a）显示从两个节点（即来自node-a和node-b）创建的连接器
听起来两个组共享相同的配置和状态主题。

status.storage.topic
offset.storage.topic
config.storage.topic

根据文档，建议您阅读每个主题应该具有哪些设置的描述，然后手动创建主题
https://kafka.apache.org/documentation/#connect_running

赞(0）回复(0）举报 2021-06-04

我来回答

多组共享相同配置的分布式kafka源连接器

1条答案

相关问题

热门标签

最新问答