hadoop mapreduce python命令行参数

bvpmtnay  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(424)

在我的pythonMap程序代码中,我需要访问-input“path”中给定的“path”。如何在python代码中访问它?

elcex8rz

elcex8rz1#

您可以从中读取输入文件 os.environ . 例如,

import os
input_file = os.environ['map_input_file']

实际上,您还可以从 os.environ . 注意:在流作业的执行期间,“mapred”参数的名称被转换。点(.)变成下划线(\)。例如,mapred.job.id变成mapred\u job\u id,mapred.jar变成mapred\u jar。要获取流作业的Map器/缩减器中的值,请使用带下划线的参数名称。请参阅配置参数。
我还发现了一篇非常有用的文章:hadoop的python框架指南。

相关问题