我有一个包含文本和“^”的文件:
这里有一些文字^
还有一些
在这里
我正在编写一个自定义输入格式,用“^”字符分隔行。i、 eMap器的输出应如下所示:
一些文字
在这里
还有一些
这里还有更多
我已经编写了一个扩展fileinputformat的自定义输入格式,还编写了一个扩展recordreader的自定义记录读取器。下面给出了我的自定义记录读取器的代码。我不知道如何处理这个代码。while循环部分中的nextkeyvalue()方法有问题。我应该如何从拆分中读取数据并生成自定义键值?我正在使用所有新的mapreduce包而不是旧的mapred包。
public class MyRecordReader extends RecordReader<LongWritable, Text>
{
long start, current, end;
Text value;
LongWritable key;
LineReader reader;
FileSplit split;
Path path;
FileSystem fs;
FSDataInputStream in;
Configuration conf;
@Override
public void initialize(InputSplit inputSplit, TaskAttemptContext cont) throws IOException, InterruptedException
{
conf = cont.getConfiguration();
split = (FileSplit)inputSplit;
path = split.getPath();
fs = path.getFileSystem(conf);
in = fs.open(path);
reader = new LineReader(in, conf);
start = split.getStart();
current = start;
end = split.getLength() + start;
}
@Override
public boolean nextKeyValue() throws IOException
{
if(key==null)
key = new LongWritable();
key.set(current);
if(value==null)
value = new Text();
long readSize = 0;
while(current<end)
{
Text tmpText = new Text();
readSize = read //here how should i read data from the split, and generate key-value?
if(readSize==0)
break;
current+=readSize;
}
if(readSize==0)
{
key = null;
value = null;
return false;
}
return true;
}
@Override
public float getProgress() throws IOException
{
}
@Override
public LongWritable getCurrentKey() throws IOException
{
}
@Override
public Text getCurrentValue() throws IOException
{
}
@Override
public void close() throws IOException
{
}
}
1条答案
按热度按时间js81xvg61#
没有必要自己实施。您可以简单地设置配置值
textinputformat.record.delimiter
成为扬抑符。这应该可以正常工作
TextInputFormat
.