有没有办法保存Map中间文件？我用这房子 keep.files.task.pattern 并将值设置为 *.* 在 mapred-site.xml ，但仍然没有中间文件。我怎样才能解决这个问题？
keep.files.task.pattern
*.*
mapred-site.xml
hsvhsicv1#
从hadoop mapreduce中间输出我已将keep.task.files.pattern设置为.00000。在mapred-site.xml和core-site.xml中，参数hadoop.tmp.dir设置为$hadoop\u home\tmp。执行作业后，file.out和file.out.index位于$hadoop\u home/tmp/mapred/local/tasktracker/praveensripati/job中缓存/作业\u 20111103192011年1月37日11031937万01\u 0/输出文件夹。这些文件采用sequencefile格式。
1条答案
按热度按时间hsvhsicv1#
从hadoop mapreduce中间输出
我已将keep.task.files.pattern设置为.00000。在mapred-site.xml和core-site.xml中，参数hadoop.tmp.dir设置为$hadoop\u home\tmp。执行作业后，file.out和file.out.index位于$hadoop\u home/tmp/mapred/local/tasktracker/praveensripati/job中缓存/作业\u 20111103192011年1月37日11031937万01\u 0/输出文件夹。这些文件采用sequencefile格式。