我正在hadoop2.6上运行hive1.2，并且在3个节点上加载了一个大小为21gb的Parquet表，存储在hdfs中，复制因子为1。我正在运行一个简单的选择查询，它不返回任何行（主要是为了测量完整表扫描的性能）：

select * from myParquetTable where id < 0;

但我一直从“parquetfilereader”（接近map-only作业的末尾）得到java堆空间内存问题：
java.lang.outofmemoryerror:parquet.hadoop.parquetfilereader$consutivechunklist.readall（parquetfilereader）处的java堆空间。java:755)在parquet.hadoop.parquetfilereader.readnextrowgroup（parquetfilereader。java:494)在parquet.hadoop.internalparquetrecordreader.checkread（internalparquetrecordreader。java:127)
虽然数据的总大小是21gb，但我在所有3个节点上总共有31.5gb的可用内存。我只是想知道Parquet文件是否有高内存消耗的问题，并需要大量的内存可用于简单/完整的扫描，或其他东西是缺少这里(我对Parquet文件非常陌生，我以前在同一硬件上使用orc格式甚至更大的数据大小的经验是成功的）。
任何建议/暗示都将不胜感激。