flink流应用程序以Parquet格式写入s3

cwdobuhd  于 2021-06-21  发布在  Flink
关注(0)|答案(0)|浏览(291)

我正在开发一个flink流应用程序,它使用来自kafaka/kinesis的消息,在处理它们之后,它必须每隔5分钟将输出以Parquet格式写入s3。
请建议一个方法来实现这一点,因为我面临着很多问题。
目前我正在使用flink 1.4.2,因为我正在考虑将其部署到aws emr 5.15集群上。
方法已经尝试过了-我使用了模块“flink-s3-fs-hadoop”和parquetapi以及flink“bucketingsink”

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题