当某个特定任务失败时,我们是否可以获得运行该任务的输入分割的转储,以便我们可以在本地运行该输入部分的作业并进行远程调试?
fxnxkyjh1#
您可以在mapper的设置中写入有关输入拆分的信息。例如 FileInputFormat :
FileInputFormat
@Override protected void setup(Context context) throws IOException, InterruptedException { FileSplit inputSplit = (FileSplit) context.getInputSplit(); System.out.println(inputSplit.toString()); }
1条答案
按热度按时间fxnxkyjh1#
您可以在mapper的设置中写入有关输入拆分的信息。例如
FileInputFormat
: