public class HadoopWordCount {
public static class TokenizerMapper extends Mapper<Object, Text, Text, LongWritable> {
private final static Text word = new Text();
private final static LongWritable one = new LongWritable(1);
public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
}
}
public static class KeyValueSwappingMapper extends Mapper<Text, LongWritable, LongWritable, Text> {
public void map(Text key, LongWritable value, Context context) throws IOException, InterruptedException {
context.write(value, key);
}
}
public static class SumReducer extends Reducer<Text, LongWritable, Text, LongWritable> {
private LongWritable result = new LongWritable();
public void reduce(Text key, Iterable<LongWritable> values, Context context) throws IOException,
InterruptedException {
long sum = 0;
for (LongWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}
2条答案
按热度按时间sshcrbum1#
必须链接的作业的经典示例是输出按频率排序的单词的单词计数。
您需要:
工作1:
输入源Map器(将单词作为键,一个作为值)
聚合缩减器(聚合字数)
工作2:
键/值交换Map器(将频率作为键,将单词作为值)
隐式身份缩减器(获取按频率排序的单词,不必实现)
下面是上述Map器/还原器的示例:
下面是驱动程序的示例。
它需要两个参数:
一个用来计算字数的输入文本文件。
输出目录(不应该预先存在)-在{this dir}/out2/part-r-0000文件中查找输出
cvxl0en22#
简单地说,当您的问题不能只适合一个map reduce作业时,您必须链接多个map reduce作业。
一个很好的例子是找到前10个购买物品,这可以通过两个工作来实现:
一个Map缩小作业,以找出每件物品的购买时间。
第二项工作,根据购买次数对物品进行排序,得到前10项。
为了获得完整的概念,作业链会生成写入磁盘和从磁盘读取的中间文件,因此会降低性能。尽量避免链接作业。
这里是如何连锁工作。