我有一个输入文件:
101 Alice 23 female IT 45
102 Bob 34 male Finance 89
103 Chris 67 male IT 97
我的Map器:
package EmpCtcPack;
import java.io.IOException;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Mapper.Context;
public class EmpctcMapper extends Mapper<Object, Text, Text, Text>{
private Text MKey=new Text();
private Text MValue=new Text();
public void map(Object key, Text value, Context context
) throws IOException, InterruptedException {
String tempKey= new String();
String tempValue=new String();
try
{
tempValue=value.toString();
tempKey=value.toString().split(" ")[3];
}
catch (Exception e)
{
e.printStackTrace();
}
MKey.set(tempKey);
MValue.set(tempValue);
context.write(MKey, MValue);
}
}
我的减速机:
package EmpCtcPack;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.Reducer.Context;
public class EmpCtcReducer extends Reducer<Text,Text,Text,Text> {
private Text RValue=new Text();
private Text RKey= new Text();
public void reduce(Text key, Iterable<Text> values,
Context context
) throws IOException, InterruptedException {
Integer i= new Integer(0);
String s=new String();
Integer t=new Integer(0);
Text text=new Text();
try
{
for (Text val : values)
{
String arr[]=val.toString().split(" ");
s=arr[3];
text.set(s);
context.write(key, text);
}
}
catch (Exception e)
{
e.printStackTrace();
}
}
}
问题出在分裂法上。
当我试图 arr[0]
,工作正常,我得到了身份证号码(101、102等等)。
但如果我想 arr[1]
或者 arr[2]
我得到0。有人知道为什么会这样吗?
提前谢谢!
2条答案
按热度按时间sg2wtvxw1#
我也犯了同样的错误。是和合路器班的。我删除了combiner类,它现在可以正常工作了。谢谢
atmip9wb2#
您在驱动程序类中使用了combiner,在本例中不需要它。
尝试在中使用regex
split():
```value.toString().split("\t+"); //if split-en by multiple tabs
value.toString().split("\t"); //if split-en by single tab