java.io.filenotfoundexception在使用yarn的集群模式下运行spark时

ffx8fchx  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(390)

我有一个spark应用程序,它在一个节点上按预期运行。
我现在使用yarn在多个节点上运行它。但是,此操作失败,出现“找不到文件”异常。我首先将这个文件路径从相对路径更改为绝对路径,但错误仍然存在。然后我在这里读到,可能有必要在路径前面加上前缀 file:// 如果默认值是hdfs。有问题的文件类型是 json .
尽管使用了绝对路径和前缀 file ,此错误仍然存在: 16/11/10 10:19:56 INFO yarn.Client: client token: N/A diagnostics: User class threw exception: java.io.FileNotFoundException: file://absolute/dir/file.json (No such file or directory) 为什么这在一个节点上能正常工作,而在Yarn的集群模式下却不能?

wa7juj8i

wa7juj8i1#

你少了一条斜线 / . 尝试:

file:///absolute/dir/file.json

这个 file:// prefix在这里指定nfs文件系统,您需要从那里指定绝对路径,从正斜杠开始,总共需要三个正斜杠。

相关问题