我的目标是使用容器部署kafka connect连接器(s3 sink),因此了解工人之间如何直接通信的细节非常重要。
从我读到的内容来看,我无法确定工人之间是否会有直接的交流(比如一个工人用rest或其他什么工具与另一个工人交谈)。
一开始我认为,当我使用rest更新配置时,配置更改将使用connect\u config内部主题和/或kafka consumer coordinator进行传播。。
但从我读到的:
rest.advertised.host.name
If this is set, this is the hostname that will be given out to other workers to connect to.
关于工人之间如何以及为什么(如果有)交流的细节?
1条答案
按热度按时间y53ybaqx1#
是的,在分布式模式下运行时,工作者必须能够连接到彼此的restapi。
connect允许您使用任何worker的restapi来创建/更新/删除连接器,但是在封面下,它将请求转发给“leader”worker。
文档中的rest api部分对此进行了描述:
restapi不仅被用户用来监视/管理kafka connect。它还用于kafka connect跨集群通信。在follower节点restapi上接收到的请求将转发给leader节点restapi。如果给定主机可访问的uri与其侦听的uri不同,则可以使用配置选项rest.advanced.host.name、rest.advanced.port和rest.advanced.listener来更改跟随者节点将用于与引导者连接的uri