hadoop:在两个作业之间执行本地方法

a8jjtwal  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(387)

有没有一种方法可以对两个后续mapreduce作业之间的数据执行(相对较短的)本地方法?
如果是,如何完成?
提前谢谢!

9rygscc1

9rygscc11#

一个简单的方法是:
声明作业对象 Job job1 = new Job(conf1); 以及 Job job2 = new Job(conf2); 为这些作业设置正确的Map器/还原器和作业名称。
在main函数中,可以执行以下操作:

job1.waitForCompletion(true);
//execute your local method
method();
job2.waitForCompletion(true);

相关问题