如何限制Map联接中使用的内存,如何控制它。假设我将两个巨大的表(每个1000万条记录有10列)连接起来。我能控制分配给那个工作的内存吗?谢谢你的回答
bfrts1fy1#
默认情况下,要在Map联接中使用的表(如小表)的最大大小是1000000000字节(约1GB)如果你想增加这个,
set hive.auto.convert.join.noconditionaltask=true; set hive.auto.convert.join.noconditionaltask.size=2000000000;
1条答案
按热度按时间bfrts1fy1#
默认情况下,要在Map联接中使用的表(如小表)的最大大小是1000000000字节(约1GB)
如果你想增加这个,