$ hadoop jar /usr/lib/hadoop/hadoop-streaming-2.6.0-cdh5.13.0.jar -file mapper.py -mapper mapper.py -file reducer.py -reducer reducer.py -input /user/cloudera/test.txt -output /user/cloudera/result
我使用这个命令来执行mapreduce程序使用mapper作为 mapper.py
和减速器组件 reducer.py
它抛出一个错误 Not a valid JAR:/usr/lib/hadoop/hadoop-streaming-2.6.0-cdh5.13.0.jar
我使用mobaxterm和vmbox&我的主目录是 /user/cloudera
,Map程序位置 /user/cloudera/mapper.py
减速器位置 /user/cloudera/reducer.py
1条答案
按热度按时间blpfk2vs1#
如果您正在使用
cloudera
分发用于实践JAR
在上述地点将不可用/usr/lib/hadoop
. hadoop流jar将出现在/usr/lib/hadoop-mapreduce/
使用更新的JAR
,应该可以。