flink文档说“当运行一个高可用性的yarn集群时,我们不运行多个jobmanager(applicationmaster)示例,而只运行一个示例,在出现故障时由yarn重新启动。”。然后在“高可用性:zookeeper”下面。
我没有Yarn的经验,但为什么我们需要设置zookeeper如果Yarn负责重启,我们只有一个作业经理?或者这是资源管理器的zookeeper?
flink文档说“当运行一个高可用性的yarn集群时,我们不运行多个jobmanager(applicationmaster)示例,而只运行一个示例,在出现故障时由yarn重新启动。”。然后在“高可用性:zookeeper”下面。
我没有Yarn的经验,但为什么我们需要设置zookeeper如果Yarn负责重启,我们只有一个作业经理?或者这是资源管理器的zookeeper?
2条答案
按热度按时间uujelgoq1#
yarn本身可以自动重新启动新的applicationmaster容器,因为applicationmaster和jobmanager在同一个进程中运行,所以jobmanager可以自动重新启动。
这里的zookeeper用于恢复上一个关闭的作业管理器的状态,例如检查点信息。
ua4mk5z42#
为了确保“高可用性”,通常建议使用基于zookeeper的Yarn实现。使用yarn,只有一个ressourcemanager示例运行,基于zookeeper的实现为ressourcemanager提供了高可用性,从而允许在活动示例崩溃时将ressourcemanager故障转移到另一个示例。
此实现通过在zookeeper中存储ressourcemanager的当前内部状态来工作。
来源:apache zookeeper essentials,saurav haloi