我正在使用配置单元操作通过oozie执行查询。我将tez和mr设置为查询的执行引擎。如何设置要执行查询的最大可能还原数？目前，我正在使用 mapred.reduce.tasks 但这需要一个静态数字。真正的问题是，当我在hivecli上执行相同的查询时，hive选择的缩减器的数量是最优的，而不是1；那么，我的oozie作业缺少什么设置，为所有查询选择1个reducer呢？
mapred.reduce.tasks
2nc8po8w1#
在oozie中运行配置单元操作时，应该始终为其设置configurations属性 mapred.reduce.tasks = -1 . 这将强制基于您的系统和可用资源创建最佳的reducer值。
mapred.reduce.tasks = -1
uqjltbpv2#
通常，控制配置单元查询的缩减器数量的理想方法是使用 hive.exec.reducers.bytes.per.reducer 财产。默认值为1gb，其中输入文件的每1gb大小将调度一个缩减器。根据预期的最大减速器数量，尝试相对减少该值。通过这种方式，您可以使用 mapred.reduce.tasks 财产。
hive.exec.reducers.bytes.per.reducer
2条答案
按热度按时间2nc8po8w1#
在oozie中运行配置单元操作时，应该始终为其设置configurations属性
mapred.reduce.tasks = -1. 这将强制基于您的系统和可用资源创建最佳的reducer值。uqjltbpv2#
通常，控制配置单元查询的缩减器数量的理想方法是使用
hive.exec.reducers.bytes.per.reducer财产。默认值为1gb，其中输入文件的每1gb大小将调度一个缩减器。
根据预期的最大减速器数量，尝试相对减少该值。通过这种方式，您可以使用
mapred.reduce.tasks财产。