我想从hdfs系统中读取sparkrshell中的parquetfile。所以我要做的是:
./sparkR --master yarn-client
sqlContext <- sparkRSQL.init(sc)
path<-"hdfs://year=2015/month=1/day=9"
AppDF <- parquetFile(sqlContext, path)
错误: No such file or directory
但是这个文件确实存在于hdfs系统中。当我把这段代码 Package 到像dataframe.r这样的r文件中并运行 ./spark-submit --master yarn ~/dataframe.R 1000
. 效果很好。所以我认为问题是通过sparkrshell在yarn客户机上运行。有人能帮忙解决这个问题吗?
我正在使用spark-1.4.0-bin-hadoop2.6
1条答案
按热度按时间olhwl3o21#
我不确定这是否有用。您可能需要添加完整路径,包括defaultfs的主机名和端口,如