我想逐行比较两个文本文件,看它们是否相等。如何使用hadoop map reduce编程?
static int i=0;
public void map(LongWritable key, String value, OutputCollector<String,IntWritable> output, Reporter reporter) throws IOException {
String line = value.toString();
i++; //used as a line number
output.collect(line, new IntWritable(i));
}
我试着用行号Map每一行。但是我怎样才能减少它并与另一个文件进行比较呢?
1条答案
按热度按时间c7rzv4ha1#
比较两个文本文件相当于在map reduce编程中连接两个文件。要连接两个文本文件,必须使用两个键相同的Map器。在您的情况下,可以使用键作为线偏移,使用值作为线偏移。multipleinputs()方法用于使用多个Map器和多个文本文件。
请找到下面的详细程序比较两个文本文件在Map减少编程使用java。
程序的参数是文件1、文件2和输出文件