我正在尝试用mongodb（v2.6）运行apachenutch（v2.3）。我遵循这个教程，以帮助我得到东西设置。我已经创建了我的种子列表，我的gora.properties和nutch-site.xml设置得很好。但是，在运行 bin/nutch inject ../urls/test/ 命令，我不断得到一个java.io.ioexception错误：
$ bin/nutch inject ./../../urls/test/
InjectorJob: starting at 2015-05-04 13:53:29
InjectorJob: Injecting urlDir: ../../urls/test
InjectorJob: Using class org.apache.gora.mongodb.store.MongoStore as the Gora storage class.
InjectorJob: java.io.IOException: Failed to set permissions of path: \tmp\hadoop-TColletti\mapred\staging\TColletti1801159571\.staging to 0700
at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:691)
at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:664)
at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:514)
at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:349)
at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:193)
at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:126)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:942)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:936)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Unknown Source)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:936)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:550)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:580)
at org.apache.nutch.util.NutchJob.waitForCompletion(NutchJob.java:50)
at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:231)
at org.apache.nutch.crawl.InjectorJob.inject(InjectorJob.java:252)
at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:275)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.nutch.crawl.InjectorJob.main(InjectorJob.java:284)我在一些地方读到过，这可能是由于没有正确版本的mongodb或者gora是错误的。似乎hadoop临时目录的权限有问题（我现在不使用）。我看过这篇s/o文章，但在2.3版本的nutch中找不到core-site.xml文件。
有人能帮我运行这个命令吗？
1条答案
按热度按时间kjthegm61#
我不确定这是否是官方的答案，但它对我起了作用。我在这里发现了另一个邮政信箱。一般的问题是一样的。其他地方不断提到修改core-site.xml，而我没有。不过，在其中一个答案中，它提到了一个要下载的修补程序，以及需要添加到myruntime/local/conf目录中nutch-site.xml文件的几行代码。试过了，解决了我的问题。似乎补丁只是忽略了错误，绕过了它们。也许有一个更好的解决办法，但现在，它奏效了。