flink jobmanager ha on emr

tp5buhyn  于 2021-06-21  发布在  Flink
关注(0)|答案(1)|浏览(505)

堆栈emr:emr-6.1.0(1个主节点,4个核心节点)emr安装的应用程序:flink 1.11.0
aws文件上说(https://docs.aws.amazon.com/emr/latest/releaseguide/flink-configure.html):

Beginning with Amazon EMR version 5.28.0, JobManager high availability is also enabled automatically. No manual configuration is needed.

但当我向Flink的工作经理发出杀人信号时 yarn container -signal container_1601027657994_0003_01_000001 GRACEFUL_SHUTDOWN (同 FORCEFUL_SHUTDOWN )什么都没发生。Yarn不会重新启动应用程序。
我是否也需要启用emr zookeeper(很可能是的,否则,我不明白flink如何理解从哪个保存点重新启动应用程序)。
我应该使用具有3个主节点的emr集群来为flink提供ha吗?

8ehkhllq

8ehkhllq1#

是的,要拥有jobmanager ha,您需要有一个具有3个主节点的emr,然后emr会自动将故障转移配置添加到 flink-conf.yaml (用emr 6.1.0测试)

相关问题