java eclipse hadoop map reduce程序无法访问存储在hdfs中的文件

qltillow  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(257)

我的JavaEclipseHadoopMapReduce程序显示了一个错误:找不到输入文件。我使用hadoop命令通过终端将文件复制到hadoop目录。我可以在javaeclipsedfs位置看到这些文件。并在终端中使用命令hadoop dfs-ls。当我创建一个普通文件夹(不是hdfs)时,问题就解决了。但是程序正在从本地文件系统访问文件。我已经在32位redhat服务器上安装了hadoop1.2.1,使用javaeclipseluna,我已经从hadoop库中包含了hadoop插件和外部jar文件。输入和输出路径通过运行时参数给出

8mmmxcuj

8mmmxcuj1#

首先,hadoopeclipse插件没有很好的可靠性。我在使用eclipse luna的插件时也遇到了同样的问题。但当我使用eclipsejuno时,兼容性问题得到了解决。hadoop2.x版本没有合适的插件可用。您可以使用工具maven来管理所有hadoop依赖项,就像hadoopeclipseplugin一样,只是您应该从终端运行作业。
关于如何将maven与hadoop结合使用的链接
如果符合你的情况,就接受我的回答

相关问题