flink集群中实现jobmanager的高可用性?

piok6c0g  于 2021-06-26  发布在  Mesos
关注(0)|答案(1)|浏览(372)

flink官方文档为独立集群和flink集群提供了jobmanager高可用性解决方案。但是使用mesos-flink集群应该如何实现高可用性呢?
我了解到,flink依靠marathon来提出一个失败的jobmanager,但它带来了一个问题:每次jobmanager重新启动时,都会重新部署作业。这对于任务关键型工作是不可接受的。这个问题有解决办法吗?或者是否有任何计划支持完整的ha与Flink在Mesos模式?

uqxowvwt

uqxowvwt1#

我在flink中使用了这个配置,它确实适用于两个mesos主机和一个从机:

high-availability: zookeeper
high-availability.storageDir: hdfs:///flink/ha/
high-availability.zookeeper.quorum: 0.0.0.0:2181,10.32.0.3:2181,10.32.0.4:2181,10.32.0.5:2181
fs.hdfs.hadoopconf: /opt/hadoop/etc/hadoop
fs.hdfs.hdfssite: /opt/hadoop/etc/hadoop/hdfs-site.xml
recovery.zookeeper.path.mesos-workers: /mesos-workers
env.java.home: /opt/java
mesos.master: 10.32.0.2:5050,10.32.0.3:5050

另外,我在marathon中使用了这个json文件:

{
 "id": "flink",
 "cmd": "/home/flink-1.7.2/bin/mesos-appmaster.sh -Djobmanager.heap.mb=1024 -Djobmanager.rpc.port=6123 -Drest.port=8081 -Dmesos.resourcemanager.tasks.mem=1024 -Dtaskmanager.heap.mb=1024 -Dtaskmanager.numberOfTaskSlots=2 -Dparallelism.default=2 -Dmesos.resourcemanager.tasks.cpus=1",
"cpus": 1.0,
"mem": 1024,
 }

我希望它有用。

相关问题