hdfs:在sparkrshell中读取parquetfile时没有这样的文件或目录错误

pokxtpni  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(356)

我想从hdfs系统中读取sparkrshell中的parquetfile。所以我要做的是:

./sparkR --master yarn-client

 sqlContext <- sparkRSQL.init(sc)
 path<-"hdfs://year=2015/month=1/day=9"
 AppDF <- parquetFile(sqlContext, path)

错误: No such file or directory 但是这个文件确实存在于hdfs系统中。当我把这段代码 Package 到像dataframe.r这样的r文件中并运行 ./spark-submit --master yarn ~/dataframe.R 1000 . 效果很好。所以我认为问题是通过sparkrshell在yarn客户机上运行。有人能帮忙解决这个问题吗?
我正在使用spark-1.4.0-bin-hadoop2.6

olhwl3o2

olhwl3o21#

我不确定这是否有用。您可能需要添加完整路径,包括defaultfs的主机名和端口,如

path<-"hdfs://localhost:9000/year=2015/month=1/day=9"

相关问题