hadoop中双输入Map器的设计

fhity93d  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(647)

我必须实现两个mapreduce作业,mapper\u 2需要reducer\u 1的输出。mapper2还需要另一个文本文件输入。如何使用这两个输入设计Map器2?换言之,如何将mapper\ 2中的两个输入参数定义为mapreduce中上一个作业的输出和一个文本文件?

j2cgzkjk

j2cgzkjk1#

在我的理解中,问题是您需要两个具有相同Map器的输入路径。我说得对吗?如果是,您可以使用:

MultipleInputs.addInputPath(Job, TextInputPath, SomeInputFormat.class, Mapper_2.class);
MultipleInputs.addInputPath(Job, Ruducer_1OutputPath, SomeInputFormat.class, Mapper_2.class);

相关问题