无法为高可用存储创建文件系统

nbewdwxp  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(359)

我有三个物理节点,每个节点上都安装了docker。我在每个docker上配置了mesos、marathon、zookeeper、hadoop和flink。我可以运行mesos,马拉松,zookeeper和hadoop没有任何问题;我还在hdfs中创建了一个文件夹flink。顺便说一下,我配置了高可用性hadoop集群,运行起来没有任何问题。但当我使用这个json文件在marathon上运行flink时,我在mesos ui中收到失败的任务。错误如下:
关闭应用程序状态为的mesossessionclusterentrypoint失败。diagnostics java.io.ioexception:无法为高可用性存储创建文件系统(high availability.storagedir)
我的flink配置如下:

env.java.home: /opt/java
jobmanager.rpc.address: 10.32.0.1
high-availability: zookeeper
high-availability.storageDir: hdfs:///flink/ha/ 
high-availability.zookeeper.quorum: 10.32.0.1:2181,10.32.0.2:2181
recovery.zookeeper.path.mesos-workers: /mesos-workers
mesos.master: 10.32.0.1:5050,10.32.0.2:5050

你能告诉我怎么解决这个问题吗?我必须把Flink和梅索斯联系起来吗?
先谢谢你。

ahy6op9u

ahy6op9u1#

使用此配置解决的问题:

jobmanager.rpc.address: localhost
high-availability.zookeeper.quorum: 
 10.32.0.1:2181,10.32.0.2:2181,10.32.0.3:2181
mesos.master: 10.32.0.1:5050,10.32.0.2:5050,10.32.0.3:5050

相关问题