yarn fair调度程序不将作业置于挂起状态

xam8gpfp  于 2021-07-09  发布在  Spark
关注(0)|答案(0)|浏览(225)

我正面临一个与Yarn展览会有关的问题(hadoop 3.2.2版)
我有一组作业,比如说6个作业,它们都提交到一个“特定的\u队列”。在这个队列中,最多可以并行运行2个作业,我希望其他4个作业保持挂起/接受状态。
但是,在当前配置下,我可以并行处理2个作业,并将其他4个结果作为“挂起的应用程序”,但在一段时间内,它们的状态为“正在运行”,没有资源分配给它们(应该是这样)。
因为在我的作业中,在几分钟后有一个可重新启动的策略,这导致由于它们的状态是“正在运行”(并且处于活动状态),它们达到了我配置的相关最大重新启动尝试,但是在它们内部没有做任何操作。
有没有办法明确地将状态设置为pending/accepted状态,并仅在maxrunningapps更改时更改它(例如从2减为1)?
my fair-scheduler.xml如下:

<?xml version="1.0"?>
<allocations>
 <queue name="specific_queue">
   <maxRunningApps>2</maxRunningApps>
 </queue>
 <queuePlacementPolicy>
  <rule name="default" queue="specific_queue"/>
 </queuePlacementPolicy>

 <queueMaxAppsDefault>2</queueMaxAppsDefault>
 <userMaxAppsDefault >2</userMaxAppsDefault >
</allocations>

我在fair-scheduler.xml中遗漏了什么?
这是我在yarn.u队列中看到的

这是队列收到作业后的作业状态

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题