如何在minikube运行kafka connect？

pobjuy32 于 2021-06-05 发布在 Kafka

关注(0)|答案(3)|浏览(813)

为了运行cps3connect在本地mac中使用kafka主题，我做了如下操作

1. Installed Confluent Kafka connector and ran the kafka connect-standalone.sh
ML-C02Z605SLVDQ:kafka_2.12-2.5.0 e192270$ confluent-hub install confluentinc/kafka-connect-s3:latest --component-dir /usr/local/share/java --worker-configs config/connect-distributed.properties 

ML-C02Z605SLVDQ:kafka_2.12-2.5.0 e192270$ cd kafka_2.12-2.5.0

ML-C02Z605SLVDQ:kafka_2.12-2.5.0 e192270$ bin/connect-standalone.sh config/connect-standalone.properties s3-sink.properties. // s3-sink.properties connector.class=io.confluent.connect.s3.S3SinkConnector

现在，要在minikube中运行kafka s3 connect，我已经在minikube中使用cp helm charts安装了kafka connect（kafka-connect-s3），并在本教程的帮助下使用安装了helm的连接器kafka/confluent。
如何复制Kafka连接舱内的Kafka配置和脚本文件？
我是否需要登录kafka connect pod来运行connect-standalone.sh命令？

apache-kafka apache-kafka-connect minikube

来源：https://stackoverflow.com/questions/61974402/how-to-run-kafka-connect-in-minikube

3条答案

按热度按时间

lvmkulzt1#

这里有一个从头开始的程序。唯一的要求是minikube。
您需要执行以下步骤：
启动minikube
使用strimzi操作符部署kafka集群
构建您自己的自定义映像，包括所需的插件和依赖项
使用该映像以分布式模式部署kafka connect集群
创建传递配置yaml的kafkanconnector示例

赞(0）回复(0）举报 2021-06-06

ukdjmx9f2#

如何在kafka connect pod中复制kafka配置和脚本文件
你不应该复制任何东西。一切都是由env vars配置的。舵图应该主要记录这些变量是如何工作的。
docker映像使用connect distributed，它是通过restapi而不是属性文件启动的。以及 confluentinc/cp-kafka-connect 已包含s3连接

赞(0）回复(0）举报 2021-06-06

ycl3bljg3#

你也可以看看https://strimzi.io/. 该项目旨在使kafka和kafka连接集群在kubernetes上的安装和管理变得非常容易。

赞(0）回复(0）举报 2021-06-05