我想通过confluent将数据从kafka传输到hdfs,并通过cli中的quickstart模型成功地进行了实验。
现在,我打算在生产环境中部署confluent平台,有关于分布式部署的详细教程吗?
如果Kafka有很多主题,比如注册信息,视频播放信息,视频类信息,视频转发信息等等。
我需要通过不同的转换器处理消息,并传输到不同的配置单元表。
我该怎么办?
我想通过confluent将数据从kafka传输到hdfs,并通过cli中的quickstart模型成功地进行了实验。
现在,我打算在生产环境中部署confluent平台,有关于分布式部署的详细教程吗?
如果Kafka有很多主题,比如注册信息,视频播放信息,视频类信息,视频转发信息等等。
我需要通过不同的转换器处理消息,并传输到不同的配置单元表。
我该怎么办?
1条答案
按热度按时间jjjwad0x1#
我需要处理不同的转换器的消息,并转移到不同的配置单元表
跑
bin/connect-distributed etc/kafka/connect-distributed.propeties
为每个hdfs连接器创建单独的json文件将它们发布到kafka connect的rest端点
分布式模式记录在这里