我无法在hadoop集群中执行mapreduce作业

vsmadaxz  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(436)
$ hadoop jar /usr/lib/hadoop/hadoop-streaming-2.6.0-cdh5.13.0.jar -file mapper.py -mapper mapper.py -file reducer.py -reducer reducer.py -input /user/cloudera/test.txt -output /user/cloudera/result

我使用这个命令来执行mapreduce程序使用mapper作为 mapper.py 和减速器组件 reducer.py 它抛出一个错误 Not a valid JAR:/usr/lib/hadoop/hadoop-streaming-2.6.0-cdh5.13.0.jar 我使用mobaxterm和vmbox&我的主目录是 /user/cloudera ,Map程序位置 /user/cloudera/mapper.py 减速器位置 /user/cloudera/reducer.py

blpfk2vs

blpfk2vs1#

如果您正在使用 cloudera 分发用于实践 JAR 在上述地点将不可用 /usr/lib/hadoop . hadoop流jar将出现在 /usr/lib/hadoop-mapreduce/ 使用更新的 JAR ,应该可以。

相关问题