mapred.job.queue.name的用例

w8f9ii69  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(760)

使用map reduce作业队列的实际用例是什么,即 mapred.job.queue.name 财产。我懂了 default 始终作为价值使用。

lnvxswe2

lnvxswe21#

map/reduce系统始终支持至少一个名称为默认值的队列。因此,此参数的值应始终包含默认字符串。hadoop中支持的一些作业调度程序(如capacity scheduler)支持多个队列。如果正在使用这样的计划程序,则必须在此处指定已配置队列名称的列表。定义队列后,用户可以使用作业配置中的属性名称mapred.job.queue.name将作业提交到队列。可以有一个单独的配置文件来配置由调度程序管理的这些队列的属性。有关相同的信息,请参阅计划程序的文档。
裁判:http://hadoop.apache.org/docs/r0.19.1/cluster_setup.html

hzbexzde

hzbexzde2#

mapred.job.queue.name是用于将作业分配给特定队列的名称。默认情况下,所有作业都进入“默认”队列。但是,可以创建分层队列。例如root、root.q1、root.q1.q1a等等。这些队列中的每一个都可以有自己的一组属性来确保一定的优先级。
一个真实的场景是,当多个涉众要求提供关于同一组基础设施的报告时。例如,在我的工作场所,我们有一个数据科学家在做各种各样的研究工作,一个客户支持团队在寻找各种各样的每日和每周数据,然后就有了支持日常业务的真正工作。基础设施的核心应该是能够尽可能地提供支持。拥有具有不同优先级的各种队列只会让hadoop很容易决定处理器可用时下一步要做什么,或者可以使用多少。
所以数据科学家将分配给“数据分析师”队列,营销团队将分配给“营销”队列。可以根据一天中的时间更改队列的优先级。

相关问题