pig脚本在tez上抛出内存不足异常,但可以与mapreduce一起使用

2guxujil  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(388)

下面显示的pig(使用tez执行引擎)脚本抛出内存不足异常,4节点集群上有一个15gb的employee表。
当执行引擎更改为mapreduce时,它可以正常工作。

pig -F -x tez -useHCatalog<<EOF
EMP_TMP = LOAD 'employee' USING org.apache.hive.hcatalog.pig.HCatLoader();
EMP = foreach EMP_TMP generate emp_id, log_time , dept_id, 10 as emp_type;
EMP_VALID =  filter EMP by (ToDate(ToString(log_time, 'yyyy-MM-dd'),'yyyy-MM-dd') >= ToDate('2015-09-01','yyyy-MM-dd') and ToDate(ToString(log_time, 'yyyy-MM-dd'),'yyyy-MM-dd') <= ToDate('2015-09-30','yyyy-MM-dd'));
STORE EMP_VALID INTO 'EMP_VALID' USING org.apache.hive.hcatalog.pig.HCatStorer();
EOF

错误消息是,

2015-11-13 11:34:06,113 [PigTezLauncher-0] INFO  org.apache.tez.client.TezClient - Submitting dag to TezSession, sessionName=PigLatin:DefaultJobName, applicationId=application_1447412577542_0027, dagName=PigLatin:DefaultJobName-0_scope-0
grunt> 2015-11-13 11:34:07,953 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 6016: Out of memory.

与群集内存和存储相比,表大小太小。
tez中是否有需要特定配置的内存参数?

6ovsh4lw

6ovsh4lw1#

我可以通过增加pig堆大小来修复它,pig中的默认值非常小。

export PIG_HEAPSIZE=8192

相关问题