我在flink集群中定义了一个s3端点,然后用于s3[a/p]://
文件系统。(使用BulkFormatBuilder创建)。然后在集群配置yaml中定义路径,如s3p://bckt/savepoints
。但是,我想为检查点和接收定义一个不同的S3端点。可以吗?为不同的端点使用2个相同的Filesystem类型,或者以某种方式覆盖检查点或FileSink的端点
我可以考虑用一个WindowFunction来代替FileSink,它会把大量的窗口化数据写入到进程函数中的文件中,或者重写filesink,让它把filesystem作为参数,我会更详细地讨论这个问题。
我只使用DataStream API。
1条答案
按热度按时间u4dcyp6a1#
请参阅Flink Amazon S3文档。您应该能够将
s3a://<data path>
用于数据接收器,并将s3p://<checkpointing path>
用于检查点。