hive—通过kafka connect hdfs将不同主题的消息传输到hdfs

kr98yfug  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(392)

我想通过confluent将数据从kafka传输到hdfs,并通过cli中的quickstart模型成功地进行了实验。
现在,我打算在生产环境中部署confluent平台,有关于分布式部署的详细教程吗?
如果Kafka有很多主题,比如注册信息,视频播放信息,视频类信息,视频转发信息等等。
我需要通过不同的转换器处理消息,并传输到不同的配置单元表。
我该怎么办?

jjjwad0x

jjjwad0x1#

我需要处理不同的转换器的消息,并转移到不同的配置单元表
bin/connect-distributed etc/kafka/connect-distributed.propeties 为每个hdfs连接器创建单独的json文件
将它们发布到kafka connect的rest端点
分布式模式记录在这里

相关问题