reducer之后Map程序的缓慢启动

5w9g7ksd  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(404)

我使用chainreducer构建以下模式

Map1 --> Reduce --> Map2

我希望map2步骤只在reduce步骤完成之后才开始。hadoop map reduce中是否有属性来设置这个。

inn6fuwd

inn6fuwd1#

你应该做的是:

ChainMapper.addMapper(generalConf, Map1.class, ..., new JobConf(false));
ChainReducer.setReducer(generalConf, Reduce.class, ..., new JobConf(false));
ChainReducer.addMapper(generalConf, Map2.class, ..., true, new JobConf(false));
// execute the job with generalConf

以上代码将保证 Map2 ,仅在 Reduce 已经完成了。

相关问题