Kafka连接aws lambdaFlume

xeufq47z  于 2021-06-06  发布在  Kafka
关注(0)|答案(2)|浏览(262)

这个连接器插件是如何工作的?Kafka连接aws lambdaFlume
docker compose.yml文件中,它从confluentinc存储库中提取zookeeper、kafka和kafka connect的docker图像。
我们能否仅将此插件用于将aws lambda作为kafka使用者与单独部署在ec2示例上的kafka集群连接起来。
我们可以使用这个连接器插件而不使用Kafka连接吗?

0yycz8jy

0yycz8jy1#

我们可以使用这个连接器插件而不使用Kafka连接吗?
不。kafka connect连接器在kafka connect上运行。
但是,kafkaconnect是apachekafka的一部分,它为您提供了一个运行时环境,可以处理节点故障、扩展、集中配置和管理等问题,因此使用它实际上是一件好事。从用户的Angular 来看,您需要编写配置文件才能使用它。
你可以在这里阅读更多关于Kafka连接
免责声明:我为confluent工作。

liwlm1x9

liwlm1x92#

您可以将插件与单独部署的kafka集群一起使用。要么将连接器jar部署到kafka connect集群,要么在docker中运行kafka connect容器并在那里部署lambda连接器。您只需修改kafka connect的docker-compose.yml配置即可指向您的kafka集群。github.com/llofberg/kafka-connect-rest存储库中有一个更好的例子。
免责声明:我写的连接器。

相关问题