我正在用python编写map reduce,但是我有足够的java知识,我正在尝试在用python语言编写的hadoop环境中运行map reduce bin/hadoop jar contrib/streaming/hadoop-streaming.jar -file /home/TEST/mapper.py -mapper /home/TEST/mapper.py -input /HADOOP/SourceFiles/input -output /home/hdfs1/HADOOP/my-output4
而我正在
Error: java.lang.RuntimeException: Error in configuring object
at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:112)
in mapper.py
我想知道:
1) 像java一样,还有jar和任何包之类的依赖项来运行pythonMap器代码。
2) 我在mapper.py中使用了panda's,那么在解析语句时如何添加并告诉hadoop使用panda呢
3) 我将分享代码,一旦我将有足够的信息,我做错了Map。
暂无答案!
目前还没有任何答案,快来回答吧!