如何从解释中为不同的配置单元阶段设置资源?

dhxwm5r4  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(410)

是否有任何方法可以根据explain查询的阶段提供资源。

bqf10yzr

bqf10yzr1#

你能做的只有:
r数/精确计数 set mapred.reduce.tasks=** (只要有道理)
r/最大计数数 set hive.exec.reducers.max=** +计算实际数字的提示 set hive.exec.reducers.bytes.per.reducer=***** 每m容器的资源(使用mr时)/ set mapreduce.map.memory.mb=** + set mapreduce.map.java.opts=-XMX** <~80%的堆>
每个r容器的资源(使用mr时)/ set mapreduce.reduce.memory.mb=** + set mapreduce.reduce.java.opts=-XMX** <~80%的堆>
每个容器的资源(使用tez时)/ set hive.tez.container.size=** + set hive.tez.java.opts=-XMX** <~80%的堆>
请注意,如果查询显示3个Map步骤和2个缩减步骤,则设置将应用于所有步骤。。。
参考:hive文档和那篇文章

相关问题