我有一个输入文件（大小约31gb），其中包含一些产品的消费者评论，我正试图将这些产品进行柠檬化，并找到相应的引理数。这种方法与hadoop提供的wordcount示例有些相似。我一共有4个类来执行这个处理：stanfordlemmatizer[包含斯坦福corenlp包v3.3.0中用于柠檬化的好东西]、wordcount[驱动程序]、wordcountmapper[Map程序]和wordcountreducer[还原程序]。
我在原始数据集的一个子集（以mb为单位）上测试了这个程序，它运行得很好。不幸的是，当我在大小约31gb的完整数据集上运行作业时，作业失败。我检查了作业的系统日志，其中包含以下内容：
java.lang.outofmemoryerror:edu.stanford.nlp.sequences.exactbestsequencefinder.bestsequence（exactbestsequencefinder）的java堆空间。java:109) [...]
对如何处理这个问题有什么建议吗？
注意：我使用的是预先配置了hadoop-0.18.0的yahoo虚拟机。我还尝试了这个线程中提到的分配更多堆的解决方案：hadoop中的内存不足错误
wordcountmapper代码：

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.MapReduceBase;
import org.apache.hadoop.mapred.Mapper;
import org.apache.hadoop.mapred.OutputCollector;
import org.apache.hadoop.mapred.Reporter;

public class WordCountMapper extends MapReduceBase
    implements Mapper<LongWritable, Text, Text, IntWritable> {

  private final IntWritable one = new IntWritable(1);
  private final Text word = new Text();
  private final StanfordLemmatizer slem = new StanfordLemmatizer();

  public void map(LongWritable key, Text value,
      OutputCollector output, Reporter reporter) throws IOException {

    String line = value.toString();

    if(line.matches("^review/(summary|text).*"))    //if the current line represents a summary/text of a review, process it! 
    {
        for(String lemma: slem.lemmatize(line.replaceAll("^review/(summary|text):.", "").toLowerCase()))
        {
            word.set(lemma);
            output.collect(word, one);
        }
    }
  }
}