flink从hadoop读取数据并发布到kafka

ahy6op9u  于 2021-06-26  发布在  Flink
关注(0)|答案(1)|浏览(451)

我需要从hdfs读取数据并将其发布到kafka主题。因为它们是dataset和datastream API的一部分,所以有可能在一个工作中完成我想要的任务吗?

vc6uscn9

vc6uscn91#

flink的数据流api可用于读取hdfs文件。看到了吗 readfile() 在https://ci.apache.org/projects/flink/flink-docs-stable/dev/datastream_api.html#data-消息来源。也可以将文件系统连接器与表和SQLAPI一起使用,但它只支持csv。

相关问题