hadoop,如何以outputformat获取输入文件名

cmssoen2  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(298)

我有一个map-only作业和自定义outputformat,它扩展了fileoutputformat,并希望使用与输入相同的名称(或稍加修改)来编写输出文件。所以我需要在我的自定义recordwriter中获取文件名。我知道这在mapper中是可能的,通过以下代码:

FileSplit fileSplit = (FileSplit)context.getInputSplit();
String filename = fileSplit.getPath().getName();

但不知道如何将文件名从Map器传递到我的recordwriter。

krcsximq

krcsximq1#

您需要使用这里描述的multipleoutputformat
您需要使用上下文/配置对象将所需的字符串文件名从Map器传递到reducer。

相关问题