hive hql中参数的持久性？

rbl8hiat 于 2021-05-31 发布在 Hadoop

关注(0)|答案(1)|浏览(535)

我用蜂群。
集群具有特定的tez continer大小（通过ambari设置）。
但是，我们有一个特定的配置单元操作，它比其他配置单元处理更多的数据。这是唯一的一个。
因此，我们计划为这个过程更改tez容器的大小。这带来了两个问题：
可以设置吗 hive.tez.container.size 以及 hive.tez.java.opts 在hql中（如 set hive.tez.java.opts=XXX ) ?
这一行动的范围和持续性如何？如果我为一个查询设置了这个值，那么我是否必须将它设置回原始值，或者只考虑这个查询/tez会话/other？

hadoop Hive apache-tez

来源：https://stackoverflow.com/questions/62167553/persistance-of-parameter-in-hive-hql

1条答案

按热度按时间

dnph8jn41#

可以在脚本中如下设置这些参数：

set tez.am.resource.memory.mb=8192;
set tez.am.java.opts=-Xmx6144m;
set tez.reduce.memory.mb=6144;    
set hive.tez.container.size=9216;   
set hive.tez.java.opts=-Xmx6144m;

如果在查询之前不重新定义，则范围将是整个会话。如果在单个脚本中有许多查询，并且每个查询需要不同的参数，请在每个查询之前设置参数。无法为不同的顶点（如map1和map2）设置不同的参数。
阅读本文：逐步揭开apachetez内存调优的神秘面纱

赞(0）回复(0）举报 2021-06-01

我来回答

hive hql中参数的持久性？

1条答案

相关问题

热门标签

最新问答