当我使用confluent control center创建源或接收器连接器时,它在哪里保存与该连接器相关的设置?有我可以浏览的文件吗?我们计划创建50多个连接器,有一次我们需要将它们从一个环境复制到另一个环境,我想知道是否有一种简单的方法可以做到这一点。
mnowg1ta1#
kafka connect分布式模式从属性文件开始。该属性文件定义了一个“配置主题”。但是,您能够加载的连接器并没有存储在那里—这仅适用于正在运行的源/接收器配置。这些类本身作为jar文件捆绑在各个connect worker的类路径中,而controlcenter目前没有提供新connect类的方法。换句话说,您必须使用ansible或manually connect之类的工具来连接每个worker,下载所需的连接类型,并在其他连接旁边提取它。例如,假设您需要syslog连接器。在合流安装的usr/share/java下已经有了这些文件夹
kafka-connect-hdfs kafka-connect-jdbc ...
因此,您下载或构建syslog连接器 kafka-connect-syslog 文件夹,并将所有必要的jar库放在那里。对所有connect示例执行此操作后,还需要在这些计算机上重新启动kafka connect进程。一旦控制中心连接回连接服务器,您就可以配置新的连接类
kafka-connect-syslog
baubqpgj2#
分布式模式下的kafka connect使用kafka主题存储配置。kafka connect支持restapi。您可以使用它来查看现有的连接器配置、创建新的连接器(包括50多个新连接器的编程/自动)、启动/停止连接器等。restapi记录在这里。
2条答案
按热度按时间mnowg1ta1#
kafka connect分布式模式从属性文件开始。该属性文件定义了一个“配置主题”。
但是,您能够加载的连接器并没有存储在那里—这仅适用于正在运行的源/接收器配置。
这些类本身作为jar文件捆绑在各个connect worker的类路径中,而controlcenter目前没有提供新connect类的方法。换句话说,您必须使用ansible或manually connect之类的工具来连接每个worker,下载所需的连接类型,并在其他连接旁边提取它。
例如,假设您需要syslog连接器。
在合流安装的usr/share/java下已经有了这些文件夹
因此,您下载或构建syslog连接器
kafka-connect-syslog
文件夹,并将所有必要的jar库放在那里。对所有connect示例执行此操作后,还需要在这些计算机上重新启动kafka connect进程。
一旦控制中心连接回连接服务器,您就可以配置新的连接类
baubqpgj2#
分布式模式下的kafka connect使用kafka主题存储配置。
kafka connect支持restapi。您可以使用它来查看现有的连接器配置、创建新的连接器(包括50多个新连接器的编程/自动)、启动/停止连接器等。
restapi记录在这里。