在hadoop(eclipse)上运行选项不提示选择hadoop服务器在窗口上运行

7jmck4yq  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(267)

我试图在eclipse上运行wordcount示例。通常,当我们在eclipse中单击“runonhadoop”选项时,会出现一个新窗口,要求选择服务器位置。但是,现在它直接运行程序,而不要求我从下面的列表中选择现有的服务器。
我想正因为如此,我得到了以下例外:

13/04/21 08:46:31 ERROR security.UserGroupInformation: PriviledgedActionException as:hduser1 cause:org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/home/hduser1/gutenbergIP/pg4300.txt
Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/home/hduser1/gutenbergIP/pg4300.txt

如果我将行更改为:

FileInputFormat.setInputPaths(conf, "/home/hduser1/gutenbergIP/pg4300.txt");

收件人:

FileInputFormat.setInputPaths(conf, "hdfs://localhost:54310/home/hduser1/gutenbergIP/pg4300.txt");

如果我用完整的url显式地指定文件名,它就会工作。我想得到一些帮助。我如何使我的相对网址工作,而不是给一个完整的网址(必须提交这作为作业在学校)。

xesrikrc

xesrikrc1#

在代码中添加以下两行:

config.addResource(new Path("/HADOOP_HOME/conf/core-site.xml"));
config.addResource(new Path("/HADOOP_HOME/conf/hdfs-site.xml"));

如果您不指定这个,您的客户机将查看本地fs,它不包含指定的路径,因此抛出错误。

相关问题