多个输出具有不同的fileoutputformat

kb5ga3dv  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(257)

我正在尝试使用multipleoutputs编写多个输出文件。然而,我希望我的fileoutputformat是两种不同的格式,即文本和sequencefileformat不同的文件。我有什么办法可以做到这一点吗?

iih3973s

iih3973s1#

请参阅以下链接:multipleoutputs
使用方法:addnamedoutput

public static void addNamedOutput(Job job,
              String namedOutput,
              Class<? extends OutputFormat> outputFormatClass,
              Class<?> keyClass,
              Class<?> valueClass)

所以基本上你的代码看起来像:

MultipleOutputs.addNamedOutput(job, "Output1", SequenceFileOutputFormat.class, Text.class, Text.class);
 MultipleOutputs.addNamedOutput(job, "Output1", TextOutputFormat.class, NullWritable.class, Text.class);

嗯。

相关问题