我是hadoop的新手,所以如果这个问题很愚蠢的话,请夸奖我。我有一个本地单节点集群。我试图在rhadoop中执行一个简单的mapreduce作业,得到以下消息:
> wordcount('/data/complete_works_of_shakespeare.txt')
Error creating temp dir in hadoop.tmp.dir /app/hadoop/tmp due to Permission denied
Show Traceback
Rerun with Debug
Error in mr(map = map, reduce = reduce, combine = combine, vectorized.reduce, :
hadoop streaming failed with error code 255 Also warnings:
1: In rmr.options("backend") :
Please set an HDFS temp directory with rmr.options(hdfs.tempdir = ...)
2: In rmr.options("hdfs.tempdir") :
Please set an HDFS temp directory with rmr.options(hdfs.tempdir = ...)
3: In rmr.options("backend") :
Please set an HDFS temp directory with rmr.options(hdfs.tempdir = ...)
4: In rmr.options("backend.parameters") :
Please set an HDFS temp directory with rmr.options(hdfs.tempdir = ...)
我该怎么设置所有这些选项?hdfs.tempdir的路径应该是什么样的?我想将temp目录设置为(如果我正确理解r想从我这里得到什么):
hduser@nina:~$ hadoop fs -ls /
14/08/10 12:52:47 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 6 items
...
drwxr-xr-x - hduser supergroup 0 2014-08-10 00:04 /temp
顺便说一句,我已经试过了
rmr.options(backend="hadoop")
NULL
Warning:
In rmr.options(backend = "hadoop") :
Please set an HDFS temp directory with rmr.options(hdfs.tempdir = ...)
请帮忙。非常感谢。
升级版本:
也尝试过:
hduser@nina:~$ sudo chmod -R 777 '/app/hadoop'
hduser@nina:~$ sudo chmod -R 777 '/tmp'
没用。
1条答案
按热度按时间wribegjk1#
验证您是否对app/hadoop目录有创建文件夹的权限。在目录上尝试chown。例如: