我有三个物理节点,每个节点上都安装了docker。我在每个docker上配置了mesos、marathon、zookeeper、hadoop和flink。我可以运行mesos,马拉松,zookeeper和hadoop没有任何问题;我还在hdfs中创建了一个文件夹flink。顺便说一下,我配置了高可用性hadoop集群,运行起来没有任何问题。但当我使用这个json文件在marathon上运行flink时,我在mesos ui中收到失败的任务。错误如下:
关闭应用程序状态为的mesossessionclusterentrypoint失败。diagnostics java.io.ioexception:无法为高可用性存储创建文件系统(high availability.storagedir)
我的flink配置如下:
env.java.home: /opt/java
jobmanager.rpc.address: 10.32.0.1
high-availability: zookeeper
high-availability.storageDir: hdfs:///flink/ha/
high-availability.zookeeper.quorum: 10.32.0.1:2181,10.32.0.2:2181
recovery.zookeeper.path.mesos-workers: /mesos-workers
mesos.master: 10.32.0.1:5050,10.32.0.2:5050
你能告诉我怎么解决这个问题吗?我必须把Flink和梅索斯联系起来吗?
先谢谢你。
1条答案
按热度按时间ahy6op9u1#
使用此配置解决的问题: