apache beam有状态处理是否考虑窗口延迟约束(withallowedlateness)来重置状态?

blpfk2vs  于 2021-06-21  发布在  Flink
关注(0)|答案(0)|浏览(267)

我正在尝试实现一个valuestate来过滤pardo转换中的记录。高水位流量如下:
1小时大小的固定窗口,允许延迟(10分钟)
在pardo中处理的第一条消息(对于给定的键)应将valuestate(boolean)设置为true。如果相应的valuestate设置为true,则相同密钥的后续消息将被丢弃(在每个窗口中只允许给定密钥的第一条消息)。
消息(在第2步中没有删除)将作为输出写出。
然而,在测试时,我看到,在固定窗口时间段结束(1小时)后,状态是重置/丢失。理想情况下,状态应该可以处理延迟记录,直到允许的延迟期(完成10分钟)。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题