我正在开发一个flink流应用程序,它使用来自kafaka/kinesis的消息,在处理它们之后,它必须每隔5分钟将输出以Parquet格式写入s3。请建议一个方法来实现这一点,因为我面临着很多问题。目前我正在使用flink 1.4.2,因为我正在考虑将其部署到aws emr 5.15集群上。方法已经尝试过了-我使用了模块“flink-s3-fs-hadoop”和parquetapi以及flink“bucketingsink”
目前还没有任何答案,快来回答吧!
暂无答案!
目前还没有任何答案,快来回答吧!