我想使用flink的事件时间戳并计划实现一个简单的emitwatermark,即system.currenttimeinmillis-10秒。我的理解是翻滚窗口将启动时间+窗口间隔+10秒。因此,如果事件晚于水印到达,则这些事件将被丢弃。有没有办法将flink丢弃的所有事件写入s3这样的接收器?
ippsafx71#
它应该是可以实现的边输出。文件 sideOutputLateData 运营商声明如下:将延迟到达的数据发送到由给定的{@link outputtag}标识的边输出。在水印已通过窗口的结尾加上使用{@link#allowedlateness(time)}设置的允许延迟之后,数据被认为是延迟的。因此,您可以通过output标记获取最新的数据流,并将其接收到s3。
sideOutputLateData
1条答案
按热度按时间ippsafx71#
它应该是可以实现的边输出。文件
sideOutputLateData
运营商声明如下:将延迟到达的数据发送到由给定的{@link outputtag}标识的边输出。在水印已通过窗口的结尾加上使用{@link#allowedlateness(time)}设置的允许延迟之后,数据被认为是延迟的。
因此,您可以通过output标记获取最新的数据流,并将其接收到s3。