hadoopmapreduce:自定义输入格式

cpjpxq1n  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(379)

我有一个包含文本和“^”的文件:
这里有一些文字^
还有一些
在这里
我正在编写一个自定义输入格式,用“^”字符分隔行。i、 eMap器的输出应如下所示:
一些文字
在这里
还有一些
这里还有更多
我已经编写了一个扩展fileinputformat的自定义输入格式,还编写了一个扩展recordreader的自定义记录读取器。下面给出了我的自定义记录读取器的代码。我不知道如何处理这个代码。while循环部分中的nextkeyvalue()方法有问题。我应该如何从拆分中读取数据并生成自定义键值?我正在使用所有新的mapreduce包而不是旧的mapred包。

public class MyRecordReader extends RecordReader<LongWritable, Text>
    {
        long start, current, end;
        Text value;
        LongWritable key;
        LineReader reader;
        FileSplit split;
        Path path;
        FileSystem fs;
        FSDataInputStream in;
        Configuration conf;

        @Override
        public void initialize(InputSplit inputSplit, TaskAttemptContext cont) throws IOException, InterruptedException
        {
            conf = cont.getConfiguration();
            split = (FileSplit)inputSplit;
            path = split.getPath();
            fs = path.getFileSystem(conf);
            in = fs.open(path);
            reader = new LineReader(in, conf);
            start = split.getStart();
            current = start;
            end = split.getLength() + start;
        }

        @Override
        public boolean nextKeyValue() throws IOException
        {
            if(key==null)
                key = new LongWritable();

            key.set(current);
            if(value==null)
                value = new Text();

            long readSize = 0;
            while(current<end)
            {
                Text tmpText = new Text(); 
                readSize = read //here how should i read data from the split, and generate key-value?

                if(readSize==0)
                    break;

                current+=readSize;              
            }

            if(readSize==0)
            {
                key = null;
                value = null;
                return false;
            }

            return true;

        }

        @Override
        public float getProgress() throws IOException
        {

        }

        @Override
        public LongWritable getCurrentKey() throws IOException
        {

        }

        @Override
        public Text getCurrentValue() throws IOException
        {

        }

        @Override
        public void close() throws IOException
        {

        }

    }
js81xvg6

js81xvg61#

没有必要自己实施。您可以简单地设置配置值 textinputformat.record.delimiter 成为扬抑符。

conf.set("textinputformat.record.delimiter", "^");

这应该可以正常工作 TextInputFormat .

相关问题