如何将jdbc驱动程序添加到dc/os上的kafka connect?

carvr3hs  于 2021-06-06  发布在  Kafka
关注(0)|答案(1)|浏览(291)

使用confluent社区包在dc/os上运行kafka connect 4.1.1。如何将jdbc驱动程序上传或添加到远程集群?
更新:这是一个安装了dc/os目录的软件包,它是一个mesos框架,运行docker映像。

fiei3ece

fiei3ece1#

更新
从这里借来的脚本(感谢@rmoff)
这是一个覆盖docker的例子 CMD 用bash脚本下载并解压restapi源连接器。

bash -c 'echo Installing unzip… && \
                curl -so unzip.deb http://ftp.br.debian.org/debian/pool/main/u/unzip/unzip_6.0-16+deb8u3_amd64.deb && \
                dpkg -i unzip.deb && \
                echo Downloading connector… && \
                curl -so kafka-connect-rest.zip https://storage.googleapis.com/rmoff-connectors/kafka-connect-rest.zip && \
                mkdir -p /u01/connectors/ && \
                unzip -j kafka-connect-rest.zip -d /u01/connectors/kafka-connect-rest && \
                echo Launching Connect… && \
                /etc/confluent/docker/run'

您需要构建自己的docker映像,并将它们发布到mesos集群的可解析docker注册表中,然后编辑mesos服务以获取这些映像,而不是合并的映像。
例如,在dockerfiles中

ADD http://somepath.com/someJDBC-driver.jar /usr/share/java/kafka-connect-jdbc

或者 curl 而不是 ADD ,如合流文档中所示(因为它需要提取 .tar.gz 文件)。

FROM confluentinc/cp-kafka-connect

ENV MYSQL_DRIVER_VERSION 5.1.39

RUN curl -k -SL "https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-${MYSQL_DRIVER_VERSION}.tar.gz" \
    | tar -xzf - -C /usr/share/java/kafka-connect-jdbc/ --strip-components=1 mysql-connector-java-5.1.39/mysql-connector-java-${MYSQL_DRIVER_VERSION}-bin.jar

你也可以使用 confluent-hub install 添加其他不是jdbcjar文件的连接器

相关问题