如何将s3中的数据读入Kafka(docker图片)

jckbn6z7  于 2021-07-15  发布在  Kafka
关注(0)|答案(1)|浏览(539)

我已经在windows下的docker上安装了kafka,运行的屏幕截图如下,我已经使用这个链接安装了“amazons3源代码连接器”https://docs.confluent.io/kafka-connect-s3-source/current/index.html#quick-开始。
我的问题是:
i) 如何执行命令查看所有kakfa主题(不是通过gui)
ii)如何检查是否安装了s3源连接器(我指的是位置或cli…)
iii)和link还指定在哪里创建和使用“quickstart-s3source.properties”?在docker的桌面上?

b5lpy0ml

b5lpy0ml1#

关于您的问题标题,源连接器不读取任意的s3数据,只读取由s3接收器编写的数据
执行命令查看所有kakfa主题 kafka-topics --list 检查是否安装了s3源连接器
您只运行datagen连接器,它不包括s3源代码,但是您可以使用 /connector-plugins 连接服务器的终结点
指定创建和使用“quickstart-s3source.properties”
您需要将其转换为json,因为docker运行一个分布式连接服务器,而那些快速启动文件将用于独立的。创建文件的位置无关紧要,只要通过httppost将其提供给connect服务器即可

相关问题