在浏览器中执行任务和作为工作流运行有什么区别

ybzsozfc  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(211)

我的任务是由多个sql组合而成的,我将这些sql复制到浏览器的窗口中执行。这项任务会成功的。但我将sql复制到文件中,然后编辑工作流。我执行工作流,它总是在特定的点上有错误。我的sql在header中包含一些设置。

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set mapreduce.map.memory.mb=5120;
set mapreduce.reduce.memory.mb=5120;
set mapreduce.map.java.opts=-Xmx4096m;
set mapreduce.reduce.java.opts=-Xmx4096m;

create table as select ......;
create table as select ......;
create table as select ......;

哦,我对这个问题感到惊讶。我不明白。有人帮我吗?
错误信息是“。。。正在超出物理内存限制运行。当前使用:使用2.0 gb的2 gb物理内存;使用了3.5 gb的4.2 gb虚拟内存。杀戮容器”。此错误发生在Map阶段。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题