需要选项来限制Map联接上配置单元中的内存

3pvhb19x  于 2021-06-28  发布在  Hive
关注(0)|答案(1)|浏览(272)

如何限制Map联接中使用的内存,如何控制它。
假设我将两个巨大的表(每个1000万条记录有10列)连接起来。我能控制分配给那个工作的内存吗?
谢谢你的回答

bfrts1fy

bfrts1fy1#

默认情况下,要在Map联接中使用的表(如小表)的最大大小是1000000000字节(约1GB)
如果你想增加这个,

set hive.auto.convert.join.noconditionaltask=true;
set hive.auto.convert.join.noconditionaltask.size=2000000000;

相关问题