我的集群(hdp)正在使用yarn容量调度器。namenode ui显示版本2.7.1.2.4.3.30。我正在尝试将配置单元脚本中的作业优先级设置为高:
set mapreduce.job.priority=HIGH;
不过,我看不出资源分配的差别。我看不见房子 yarn.scheduler.fair.preemption 在yarn-site.xml中。另外,tez的等价属性是什么?
yarn.scheduler.fair.preemption
mm9b1k5b1#
因为使用Hadoop2.7.1,所以必须在yarn-site.xml中显式设置yarn.scheduler.fair.preemption。不将此设置为true将导致优先级排序不起作用,因为默认值yarn.scheduler.fair.preemption=false。关于你关于泰兹的问题,没有对等的。你可能想阅读更多关于先发制人如何工作在这里!
1条答案
按热度按时间mm9b1k5b1#
因为使用Hadoop2.7.1,所以必须在yarn-site.xml中显式设置yarn.scheduler.fair.preemption。不将此设置为true将导致优先级排序不起作用,因为默认值yarn.scheduler.fair.preemption=false。
关于你关于泰兹的问题,没有对等的。你可能想阅读更多关于先发制人如何工作在这里!