hadoop作业链:跟踪作业索引

a9wyjsp7  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(327)

我把工作联系在一起。减量生产 i 是否需要文件
Mapper setup() 圆形的 i+1 . 我想把这个文件的名字放到 reduce . 什么是访问作业索引的好方法?也许给这个工作起个名字 i 并在 reduce ?
为每个作业更新,我需要报告一个值,它是我计算的每个作业的汇总统计信息 reduce (我有一个减速机)。如何将该值输出到它自己的文件中,或附加到单个文件中?我的输出路径已经用于主计算。
最后,我将摘要统计信息附加到 cleanup 每个减速机,我只有一个减速机每个工作。

@Override
protected void cleanup(Context context) throws IOException, InterruptedException {
    FileSystem hdfs = FileSystem.get(context.getConfiguration());
    FSDataOutputStream os = hdfs.append(new Path(COST_FILENAME));
    PrintStream out = new PrintStream(os);
    out.println(String.valueOf(cost));
    out.close();
}
42fyovps

42fyovps1#

一个简单的解决方案是使用不同的输入/输出文件夹来处理使用 Job#setInputPath() 以及 Job#setOutputPath() .
作业1:输入: input ,输出: output-1 作业2:输入: output-1 ,输出: output-2 ...
jobn:输入: output-(N-1) ,输出: output-N

相关问题