在驱动程序中是否可以向conf对象添加属性？

7kqas0il 于 2021-05-30 发布在 Hadoop

关注(0)|答案(1)|浏览(326)

我的mr工作如下：

Job job = new Job(conf, "helloWorld");

上设置的任何值 conf 可跨节点使用。但我不确定以下是否有效：
在Map中

conf.set("hello", "world");

在驱动器中

if( job.waitForCompletion(true) ){
     System.out.println(conf.get("hello"));
}

是否会修改 conf 在map/REDUCT阶段，驾驶员是否可以看到？

1条答案

提交作业时，还提供了配置，如您所说：

Job job = new Job(conf, "helloWorld");

这是java中的按值调用（参见这个很好的答案示例）。
如果许多Map程序将不同的值设置为 hello ?
我相信你正在寻找的功能是多个输出。在一些新文件中写入所需的值，当任务完成时，可以使用hadoop的文件系统从驱动程序中读取这些值。