不能在amazon emr中使用apache flink

ffscu2ro 于 2021-06-24 发布在 Flink

关注(0)|答案(2)|浏览(479)

我无法在amazons emr中启动apache flink的Yarn会话。我收到的错误信息是

$ tar xvfj flink-0.9.0-bin-hadoop26.tgz
$ cd flink-0.9.0
$ ./bin/yarn-session.sh -n 4 -jm 1024 -tm 4096
...
Diagnostics: File file:/home/hadoop/.flink/application_1439466798234_0008/flink-conf.yaml does not exist
java.io.FileNotFoundException: File file:/home/hadoop/.flink/application_1439466798234_0008/flink-conf.yaml does not exist
...

我使用的是flink版本0.9和amazons hadoop版本4.0.0。有什么想法或暗示吗？
完整日志可在以下位置找到：https://gist.github.com/headmyshoulder/48279f06c1850c62c28c

yarn amazon-emr apache-flink emr

来源：https://stackoverflow.com/questions/31991934/cannot-use-apache-flink-in-amazon-emr

2条答案

按热度按时间

b91juud31#

从日志中：
文件系统方案为“文件”。这表示指定的hadoop配置路径错误，系统正在使用默认的hadoop配置值。flink yarn客户端需要将其文件存储在分布式文件系统中
flink无法读取hadoop配置文件。它们可以从环境变量（例如hadoop\u home）中获取，也可以在执行yarn命令之前在flink-conf.yaml中设置configuration dir。
flink需要阅读hadoop配置，以了解如何将flinkjar上传到集群文件系统，以便新创建的yarn集群可以访问它。如果flink无法解析hadoop配置，它将使用本地文件系统上载jar。这意味着jar将放在启动集群的机器上。因此，它将无法从FlinkYarn集群访问。
有关更多信息，请参阅flink配置页。
编辑：亚马逊电子病历， export HADOOP_CONF_DIR=/etc/hadoop/conf 让我们先来看看hadoop配置目录。

赞(0）回复(0）举报 2021-06-24

hgc7kmma2#

如果我是你，我会试试这个：
./bin/yarn-session.sh-n 1-jm 768-tm 768

赞(0）回复(0）举报 2021-06-24