我有一个spark应用程序,它在一个节点上按预期运行。
我现在使用yarn在多个节点上运行它。但是,此操作失败,出现“找不到文件”异常。我首先将这个文件路径从相对路径更改为绝对路径,但错误仍然存在。然后我在这里读到,可能有必要在路径前面加上前缀 file://
如果默认值是hdfs。有问题的文件类型是 json
.
尽管使用了绝对路径和前缀 file
,此错误仍然存在: 16/11/10 10:19:56 INFO yarn.Client: client token: N/A diagnostics: User class threw exception: java.io.FileNotFoundException: file://absolute/dir/file.json (No such file or directory)
为什么这在一个节点上能正常工作,而在Yarn的集群模式下却不能?
1条答案
按热度按时间wa7juj8i1#
你少了一条斜线
/
. 尝试:这个
file://
prefix在这里指定nfs文件系统,您需要从那里指定绝对路径,从正斜杠开始,总共需要三个正斜杠。