Yarn上的flink jobmanager是否需要zookeeper进行ha设置

gmol1639  于 2021-06-25  发布在  Flink
关注(0)|答案(2)|浏览(681)

flink文档说“当运行一个高可用性的yarn集群时,我们不运行多个jobmanager(applicationmaster)示例,而只运行一个示例,在出现故障时由yarn重新启动。”。然后在“高可用性:zookeeper”下面。
我没有Yarn的经验,但为什么我们需要设置zookeeper如果Yarn负责重启,我们只有一个作业经理?或者这是资源管理器的zookeeper?

uujelgoq

uujelgoq1#

yarn本身可以自动重新启动新的applicationmaster容器,因为applicationmaster和jobmanager在同一个进程中运行,所以jobmanager可以自动重新启动。
这里的zookeeper用于恢复上一个关闭的作业管理器的状态,例如检查点信息。

ua4mk5z4

ua4mk5z42#

为了确保“高可用性”,通常建议使用基于zookeeper的Yarn实现。使用yarn,只有一个ressourcemanager示例运行,基于zookeeper的实现为ressourcemanager提供了高可用性,从而允许在活动示例崩溃时将ressourcemanager故障转移到另一个示例。
此实现通过在zookeeper中存储ressourcemanager的当前内部状态来工作。
来源:apache zookeeper essentials,saurav haloi

相关问题