为了运行cps3connect在本地mac中使用kafka主题,我做了如下操作
1. Installed Confluent Kafka connector and ran the kafka connect-standalone.sh
ML-C02Z605SLVDQ:kafka_2.12-2.5.0 e192270$ confluent-hub install confluentinc/kafka-connect-s3:latest --component-dir /usr/local/share/java --worker-configs config/connect-distributed.properties
ML-C02Z605SLVDQ:kafka_2.12-2.5.0 e192270$ cd kafka_2.12-2.5.0
ML-C02Z605SLVDQ:kafka_2.12-2.5.0 e192270$ bin/connect-standalone.sh config/connect-standalone.properties s3-sink.properties. // s3-sink.properties connector.class=io.confluent.connect.s3.S3SinkConnector
现在,要在minikube中运行kafka s3 connect,我已经在minikube中使用cp helm charts安装了kafka connect(kafka-connect-s3),并在本教程的帮助下使用安装了helm的连接器kafka/confluent。
如何复制Kafka连接舱内的Kafka配置和脚本文件?
我是否需要登录kafka connect pod来运行connect-standalone.sh命令?
3条答案
按热度按时间lvmkulzt1#
这里有一个从头开始的程序。唯一的要求是minikube。
您需要执行以下步骤:
启动minikube
使用strimzi操作符部署kafka集群
构建您自己的自定义映像,包括所需的插件和依赖项
使用该映像以分布式模式部署kafka connect集群
创建传递配置yaml的kafkanconnector示例
ukdjmx9f2#
如何在kafka connect pod中复制kafka配置和脚本文件
你不应该复制任何东西。一切都是由env vars配置的。舵图应该主要记录这些变量是如何工作的。
docker映像使用connect distributed,它是通过restapi而不是属性文件启动的。以及
confluentinc/cp-kafka-connect
已包含s3连接ycl3bljg3#
你也可以看看https://strimzi.io/. 该项目旨在使kafka和kafka连接集群在kubernetes上的安装和管理变得非常容易。