我现在有一个hadoop命令,我想用awsdk复制它。
我现在使用的命令
hadoop jar /home/hadoop/contrib/streaming/hadoop-streaming.jar -input /no_dups -output /sorted -mapper mapper.py -reducer reducer.py -file mapper.py reducer.py other_file1.py other_file2.py
据我所知 StreamingStep
类没有提供让hadoop知道将需要其他文件以及Map器和reducer的方法。
此功能可用吗?
1条答案
按热度按时间u5rb5r591#
我通过考试解决了这个问题
-file
选择HadoopJarStepConfig
有我需要的文件清单。看到这个问题了吗