你能做的只有： r数/精确计数 set mapred.reduce.tasks=** （只要有道理） r/最大计数数 set hive.exec.reducers.max=** +计算实际数字的提示 set hive.exec.reducers.bytes.per.reducer=***** 每m容器的资源（使用mr时）/ set mapreduce.map.memory.mb=** + set mapreduce.map.java.opts=-XMX** <~80%的堆> 每个r容器的资源（使用mr时）/ set mapreduce.reduce.memory.mb=** + set mapreduce.reduce.java.opts=-XMX** <~80%的堆> 每个容器的资源（使用tez时）/ set hive.tez.container.size=** + set hive.tez.java.opts=-XMX** <~80%的堆> 请注意，如果查询显示3个Map步骤和2个缩减步骤，则设置将应用于所有步骤。。。 参考：hive文档和那篇文章
1条答案
按热度按时间bqf10yzr1#
你能做的只有：
r数/精确计数
set mapred.reduce.tasks=**（只要有道理）r/最大计数数
set hive.exec.reducers.max=**+计算实际数字的提示set hive.exec.reducers.bytes.per.reducer=*****每m容器的资源（使用mr时）/set mapreduce.map.memory.mb=**+set mapreduce.map.java.opts=-XMX**<~80%的堆>每个r容器的资源（使用mr时）/
set mapreduce.reduce.memory.mb=**+set mapreduce.reduce.java.opts=-XMX**<~80%的堆>每个容器的资源（使用tez时）/
set hive.tez.container.size=**+set hive.tez.java.opts=-XMX**<~80%的堆>请注意，如果查询显示3个Map步骤和2个缩减步骤，则设置将应用于所有步骤。。。
参考：hive文档和那篇文章