我用蜂群。
集群具有特定的tez continer大小(通过ambari设置)。
但是,我们有一个特定的配置单元操作,它比其他配置单元处理更多的数据。这是唯一的一个。
因此,我们计划为这个过程更改tez容器的大小。这带来了两个问题:
可以设置吗 hive.tez.container.size
以及 hive.tez.java.opts
在hql中(如 set hive.tez.java.opts=XXX
) ?
这一行动的范围和持续性如何?如果我为一个查询设置了这个值,那么我是否必须将它设置回原始值,或者只考虑这个查询/tez会话/other?
1条答案
按热度按时间dnph8jn41#
可以在脚本中如下设置这些参数:
如果在查询之前不重新定义,则范围将是整个会话。如果在单个脚本中有许多查询,并且每个查询需要不同的参数,请在每个查询之前设置参数。无法为不同的顶点(如map1和map2)设置不同的参数。
阅读本文:逐步揭开apachetez内存调优的神秘面纱