hadoop mapreduce配置(新api)

i1icjdpr 于 2021-06-03 发布在 Hadoop

关注(0)|答案(1)|浏览(242)

我只是想尝试一个教程(https://ccp.cloudera.com/display/doc/hadoop+tutorial)程序wordcount v.2（页面底部），其中他们使用以下方法为程序设置一些基本变量：

public void configure(JobConf job) {
...
}

不过，我正在尝试使用新的hadoopapi，而这个方法似乎已经不存在了？有人能告诉我在新的api中做这样的事情的等效方法是什么吗？
另外，如何在运行时访问配置？我是否可以简单地称之为：

Job.getConfiguration();

1条答案

您可以重写 Mapper / Reducer ，这将表现为 configure .
签名如下：

@Override
 protected void setup(Context context) throws IOException,
       InterruptedException {

给你一个 Context 对象，您可以在其中调用：

Configuration conf = context.getConfiguration();
``` `map` 以及 `cleanup` ，都有这些上下文对象，因此您可以 `Configuration` 随时都可以。