用python为hadoop编写map reduce

siv3szwd  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(215)

我正在用python编写map reduce,但是我有足够的java知识,我正在尝试在用python语言编写的hadoop环境中运行map reduce bin/hadoop jar contrib/streaming/hadoop-streaming.jar -file /home/TEST/mapper.py -mapper /home/TEST/mapper.py -input /HADOOP/SourceFiles/input -output /home/hdfs1/HADOOP/my-output4 而我正在

Error: java.lang.RuntimeException: Error in configuring object
    at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:112)
    in mapper.py

我想知道:
1) 像java一样,还有jar和任何包之类的依赖项来运行pythonMap器代码。
2) 我在mapper.py中使用了panda's,那么在解析语句时如何添加并告诉hadoop使用panda呢
3) 我将分享代码,一旦我将有足够的信息,我做错了Map。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题