使用confluent社区包在dc/os上运行kafka connect 4.1.1。如何将jdbc驱动程序上传或添加到远程集群?更新:这是一个安装了dc/os目录的软件包,它是一个mesos框架,运行docker映像。
fiei3ece1#
更新从这里借来的脚本(感谢@rmoff)这是一个覆盖docker的例子 CMD 用bash脚本下载并解压restapi源连接器。
CMD
bash -c 'echo Installing unzip… && \ curl -so unzip.deb http://ftp.br.debian.org/debian/pool/main/u/unzip/unzip_6.0-16+deb8u3_amd64.deb && \ dpkg -i unzip.deb && \ echo Downloading connector… && \ curl -so kafka-connect-rest.zip https://storage.googleapis.com/rmoff-connectors/kafka-connect-rest.zip && \ mkdir -p /u01/connectors/ && \ unzip -j kafka-connect-rest.zip -d /u01/connectors/kafka-connect-rest && \ echo Launching Connect… && \ /etc/confluent/docker/run'
您需要构建自己的docker映像,并将它们发布到mesos集群的可解析docker注册表中,然后编辑mesos服务以获取这些映像,而不是合并的映像。例如,在dockerfiles中
ADD http://somepath.com/someJDBC-driver.jar /usr/share/java/kafka-connect-jdbc
或者 curl 而不是 ADD ,如合流文档中所示(因为它需要提取 .tar.gz 文件)。
curl
ADD
.tar.gz
FROM confluentinc/cp-kafka-connect ENV MYSQL_DRIVER_VERSION 5.1.39 RUN curl -k -SL "https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-${MYSQL_DRIVER_VERSION}.tar.gz" \ | tar -xzf - -C /usr/share/java/kafka-connect-jdbc/ --strip-components=1 mysql-connector-java-5.1.39/mysql-connector-java-${MYSQL_DRIVER_VERSION}-bin.jar
你也可以使用 confluent-hub install 添加其他不是jdbcjar文件的连接器
confluent-hub install
1条答案
按热度按时间fiei3ece1#
更新
从这里借来的脚本(感谢@rmoff)
这是一个覆盖docker的例子
CMD
用bash脚本下载并解压restapi源连接器。您需要构建自己的docker映像,并将它们发布到mesos集群的可解析docker注册表中,然后编辑mesos服务以获取这些映像,而不是合并的映像。
例如,在dockerfiles中
或者
curl
而不是ADD
,如合流文档中所示(因为它需要提取.tar.gz
文件)。你也可以使用
confluent-hub install
添加其他不是jdbcjar文件的连接器