使用带窗口的trident拓扑时的风暴错误/超时处理

ujv3wf0j  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(183)

我在用三叉戟和Windows的风暴。
我正在尝试创建一个窗口,它将等待所有事件(从Kafka这样的喷口获取),这些事件可能会在1分钟的窗口内发生。稍后,对这些事件执行groupby,以便基于某个键处理与批量相关的事件。
我创建了一个storm tridenttopology,它使用基于时间窗口的流。窗口持续时间为1分钟。当1分钟到期时,将发出聚合元组(一个接一个)以继续流中的下一个任务。接下来的任务是groupby。
问题:
在这个设计中,我假设storm将读取多个kafka批,以便将它们推入1分钟窗口(如果它只读取1分钟窗口的1个批,那么等待1分钟就没有意义了)。我找不到任何地方来证实这一点
假设在window和groupby之后,我有一个操作由于某些资源超时而失败,因此我使元组失败(以便重试)。在这种情况下,什么是重试?
2.1:整批?或者只有这个特定的元组?一
2.2:整个批/元组是否会再次抛出一个新的1分钟窗口,基本上它只会加入一个已经启动的窗口?
有关于tridenttopology错误处理的文档吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题