hadoop 1.0.4-运行map reduce作业时出现文件权限问题

5jvtdoz2  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(220)

我是hadoop新手,需要在windows中设置一个沙盒环境来向客户机展示。我遵循了下面提到的步骤
在所有机器上安装cygwin
安装ssh
安装hadoop 1.0.4
配置hadoop
hadoop-7682 bug应用补丁
经过多次尝试,我成功地运行了所有组件(namenode、datanode、tasktracker和jobtracker)。但现在我在运行map reduce作业和在tmp目录上获取权限时遇到了问题。当我使用以下命令运行单词计数示例时

bin/hadoop jar hadoop*examples*.jar wordcount wcountjob wcountjob/gutenberg-output

13/03/28 23:43:29 info mapred.jobclient:任务id:尝试\u 201303282342 \u 0001 \u m \u000003 \u 2,状态:初始化尝试失败错误\u 201303282342 \u 0001 \u m\u000003 \u 2:java.io.ioexception:未能在org.apache.hadoop.fs.fileutil.checkreturnvalue(fileutil)上将路径c:\cygwin\usr\local\tmp\tasktracker\uswu50754的权限设置为0700。java:689)在org.apache.hadoop.fs.fileutil.setpermission(fileutil。java:662)在org.apache.hadoop.fs.rawlocalfilesystem.setpermission(rawlocalfilesystem)。java:509)在org.apache.hadoop.fs.rawlocalfilesystem.mkdirs(rawlocalfilesystem。java:344)在org.apache.hadoop.mapred.joblocalizer.createlocaldirs(joblocalizer。java:144)位于org.apache.hadoop.mapred.defaulttaskcontroller.initializejob(defaulttaskcontroller)。java:182)在org.apache.hadoop.mapred.tasktracker$4.run(tasktracker。java:1228)位于javax.security.auth.subject.doas(subject)的java.security.accesscontroller.doprivileged(本机方法)。java:396)在org.apache.hadoop.security.usergroupinformation.doas(usergroupinformation。java:1121)在org.apache.hadoop.mapred.tasktracker.initializejob(tasktracker。java:1203)在org.apache.hadoop.mapred.tasktracker.localizejob(tasktracker。java:1118)在org.apache.hadoop.mapred.tasktracker$5.run(tasktracker。java:2430)在java.lang.thread.run(线程。java:662)
我尝试过手动设置权限,但也不起作用。据我所知,这是由于java库试图重置权限而失败。解决tasktracker问题的权限修补程序似乎无法解决此问题。
有人找到解决办法了吗?
有人能告诉我hadoop0.20.2的下载位置吗?它似乎不受这个问题的影响?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题