apacheflink:架构问题:背压和处理故障模式

xam8gpfp  于 2021-06-21  发布在  Flink
关注(0)|答案(1)|浏览(383)

我刚刚开始阅读有关flink的文章,想了解更多关于flink如何处理反压力以及在有反压力时如何处理失败的信息。我读过数据工匠的这篇博文https://data-artisans.com/blog/how-flink-handles-backpressure 了解缓冲池的概念以及它们如何处理反压力。
我的问题是
(1) 在远程交换的情况下(当任务在不同的节点上,缓冲区被复制到wire-tcp时),水印有什么帮助呢。
(2) 如果系统面临背压时出现故障,如何处理?
(3) 只是用于恢复的异步检查点吗?这个检查点包括什么?
(4) 在一个检查点中捕获了多少缓冲池的数据状态?

5lhxktic

5lhxktic1#

了解flink网络堆栈当前行为的最佳资源是nico kruber在flink forward berlin 2018的演讲:使用flink网络堆栈提高吞吐量和延迟。
至于检查点,数据流容错对它的工作原理以及每个快照中捕获的数据给出了非常透彻的解释。

相关问题