无法在hadoop上运行mapreduce作业

qvtsj1bj  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(490)

我在试着运行一个从互联网上获取的mapreduce作业。此作业接收“points.dat”文件的输入,并在其上进行k-means聚类。它应该生成一个文件“centroids.dat”和一个与自己的质心匹配的点的文件。几个月前,这是工作,但现在我试图重新执行一个新的安装。
我做的

bin/hdfs dfs -copyFromLocal ..//..//../home/<myusername>/Downloads/points.dat

一切正常,文件显示在hdfs上的/user//路径中的web服务工具中。jps没问题
jar请求args:

<input> <output> <n clusters>

所以我做了

bin/hadoop jar ../../../home/<myusername>/Downloads/kmeans.jar /user/<myusername>/ /out 3

它在/user/和out/目录中创建一个“centroids.dat”文件。据我所知,它试图重新读取“centroids.dat”来执行。所以它以失败告终,比如

"failed creating symlink /tmp/hadoop-<myusername>/mapred/local/1466809349241/centroids.dat <- /usr/local/hadoop/centroids.dat

所以java引发了一个filenotfoundexception
我尽量缩短这个问题。如果需要更多的信息,我没问题

bweufnob

bweufnob1#

我认为你在命令中没有提到主要的阶级

bin/hadoop jar kmeans.jar MainClass input output

相关问题