您的文件中可能有一个包含数组的大行。这里有一个异常，因为您试图构建一个太大的charbuffer（很可能是一个在越界后变为负数的整数）。java中的最大数组/字符串大小是2^31-1（integer.max\u value-1）（请参阅此线程）。你说你有一个3gb的记录，每个字符1b，可以产生30亿个字符，超过2^31，大约等于20亿。
t你能做的有点麻烦，但由于你只有一个大数组的键，它可能会工作。您的json文件可能如下所示：

{
  "key" : ["v0", "v1", "v2"... ]
}

或者像这样，但我认为你的情况是前者：

{
  "key" : [
      "v0", 
      "v1", 
      "v2",
      ... 
   ]
}

因此，您可以尝试将hadoop使用的行分隔符更改为“，”如下所示。基本上，他们是这样做的：

import org.apache.hadoop.io.LongWritable
import org.apache.hadoop.io.Text
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat

def nlFile(path: String) = {
    val conf = new Configuration
    conf.set("textinputformat.record.delimiter", ",")
    sc.newAPIHadoopFile(path, classOf[TextInputFormat], classOf[LongWritable], classOf[Text], conf)
          .map(_._2.toString)
}

然后您可以读取数组，只需自己删除json括号，如下所示：

nlFile("...")
  .map(_.replaceAll("^.*\\[", "").replaceAll("\\].*$",""))

请注意，如果您的记录可以包含字符“[”和“]”，那么您必须更加小心，但这里是一个想法。