在运行时异常的情况下,如何手动重放apache flink中函数的元组?

h4cxqtbf  于 2021-06-21  发布在  Flink
关注(0)|答案(1)|浏览(316)

在storm中,我们执行collector.fail(tuple)来重放tuple。Flink的类似做法是什么?

bf1o4zei

bf1o4zei1#

只要启用了检查点,flink就会自动处理这个问题。这里描述了底层机制,但简单地说,flink定期快照集群的所有状态,并在发生故障时恢复它。这包括根据需要回放源代码和重放事件,以实现精确的一次处理语义。
更新:
有时,有必要通过作业图的部分或全部循环事件。flink的dataset api通过迭代支持这一点,但不幸的是,迭代和流式处理存在问题。最好的解决方案是将事件写入接收器并从源重新接收它们。

相关问题