apacheflink:如何处理水印背后的所有事件?

h7appiyu  于 2021-06-24  发布在  Flink
关注(0)|答案(1)|浏览(367)

我想使用flink的事件时间戳并计划实现一个简单的emitwatermark,即system.currenttimeinmillis-10秒。我的理解是翻滚窗口将启动时间+窗口间隔+10秒。因此,如果事件晚于水印到达,则这些事件将被丢弃。
有没有办法将flink丢弃的所有事件写入s3这样的接收器?

ippsafx7

ippsafx71#

它应该是可以实现的边输出。文件 sideOutputLateData 运营商声明如下:
将延迟到达的数据发送到由给定的{@link outputtag}标识的边输出。在水印已通过窗口的结尾加上使用{@link#allowedlateness(time)}设置的允许延迟之后,数据被认为是延迟的。
因此,您可以通过output标记获取最新的数据流,并将其接收到s3。

相关问题