org.apache.hadoop.mapred.invalidinputexception:输入路径不存在

k97glaaz  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(554)

我已经用hadoop的单节点设置了apachenutch。当我执行crawl命令时,它开始爬网。但是,在几分钟后会抛出一个异常。
cause:org.apache.hadoop.mapred.invalidinputexception:输入路径不存在:(请参考图1)
根据异常,这是无效路径hdfs://localhost:54310/user/duleendra/testcrawl/segments/drwxrwx/crawl\u生成
实际上在hdfs中没有这样的路径。
这个drwxrwx是怎么来的?
在hdfs中,我可以看到以下路径
hdfs://localhost:54310/user/duleendra/testcrawl/segments/2015050622506/crawl\u生成
(请参考图2)。


我错过什么了吗?
谢谢
杜伦德拉

sczxawaw

sczxawaw1#

我相信这是基于unix的系统(如osx和freebsd)中的一个bug。纳奇的爬行在他们身上不起作用。试试ubuntu。

相关问题