flink事件时间特性的滑动窗口

qq24tv8q  于 2021-06-21  发布在  Flink
关注(0)|答案(1)|浏览(451)

我是Flink的新手,需要帮助。我有时间粒度为5分钟的事件流。我想通过调用restapi来获取事件的元数据,使用过去1小时的历史事件数据点,即最后12个点(5分钟的时间粒度)。
e、 g事件的时间戳是10:00,10:05,10:10,10:15等等,所以如果我想得到11:00事件时间戳的元数据,我会调用send所有时间戳为10:00,10:05,10:10,10:15的事件。。10:55
我使用timecharacteristic.eventtime执行环境实现了该方法,并使用带有周期性水印的assignerwithperiodicwatermarks提取事件的时间戳和滞后1小时的水印。
为了得到前面的观点,我创建了一个1小时的滑动窗口和5分钟的滑动窗口(假设1个事件将与窗口一起滑动)。我创建了processallwindowfunction,收集了所有窗口元素并调用RESTAPI。然而,当我打印窗口元素时,我得到了大约400个事件时间戳。
看起来没有正确创建窗口。不确定问题是在代码中还是在我的方法中

frebpwbc

frebpwbc1#

你在用吗 allowedLateness ? 此功能可导致窗口多次触发。
https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/windows.html#allowed-迟到

相关问题