hadoop流媒体-模块依赖关系

eiee3dmh  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(355)

hadoop流中是否有任何标准方法来处理类似于distributedcache(在javamr中)的依赖关系
例如,假设我有一个python模块用于所有map任务。我怎样才能做到?

vql8enpb

vql8enpb1#

可以使用-file参数指定python模块:
看到了吗http://hadoop.apache.org/docs/r0.18.3/streaming.html
如果有依赖模块等,可以指定多个文件参数。

相关问题