yarn容量调度器并行化

qv7cva1a  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(393)

yarn中的capacity scheduler是否为同一用户在同一队列上并行运行应用程序。
为了example:if we 在具有相同用户的两个终端上有两个配置单元cli,并且在这两个终端上启动相同的查询,它们是并行执行还是顺序执行默认队列。
当前,ui显示1个正在运行,1个处于挂起状态:

有办法并行运行吗?

vuv7lop3

vuv7lop31#

对于在同一队列中提交的作业,容量调度器以fifo方式运行作业。例如,如果两个配置单元cli都已提交为默认队列,那么哪一个能够首先保护资源将进入运行状态,另一个将等待(仅当队列中没有足够的资源时)。
如果需要并行执行1)可以在不同的队列中运行其他作业。可以在上启动作业时定义队列名称。2) 您需要以这样的方式定义资源,以便两个作业都可以获得所需的资源。

相关问题