我把工作联系在一起。减量生产 i
是否需要文件
Mapper setup()
圆形的 i+1
. 我想把这个文件的名字放到 reduce
. 什么是访问作业索引的好方法?也许给这个工作起个名字 i
并在 reduce
?
为每个作业更新,我需要报告一个值,它是我计算的每个作业的汇总统计信息 reduce
(我有一个减速机)。如何将该值输出到它自己的文件中,或附加到单个文件中?我的输出路径已经用于主计算。
最后,我将摘要统计信息附加到 cleanup
每个减速机,我只有一个减速机每个工作。
@Override
protected void cleanup(Context context) throws IOException, InterruptedException {
FileSystem hdfs = FileSystem.get(context.getConfiguration());
FSDataOutputStream os = hdfs.append(new Path(COST_FILENAME));
PrintStream out = new PrintStream(os);
out.println(String.valueOf(cost));
out.close();
}
1条答案
按热度按时间42fyovps1#
一个简单的解决方案是使用不同的输入/输出文件夹来处理使用
Job#setInputPath()
以及Job#setOutputPath()
.作业1:输入:
input
,输出:output-1
作业2:输入:output-1
,输出:output-2
...jobn:输入:
output-(N-1)
,输出:output-N