我正在实现fair调度器来管理集群中的pyspark作业。但是,我不明白如何在fair scheduler中将作业分配给池。
例如,在我当前的集群中,我有队列1..10,有作业在队列1、2、3、4中运行,而其他队列是空的。现在,如果启动一个作业以在空闲队列(比如10)中运行,我希望它处于运行模式,因为队列是空闲的。但它被困在等待模式。
所有池都具有公平调度策略,并且fairsharepreemptiontimeout设置为30秒。这是fair-scheduler.xml中的条目
`<fairSharePreemptionTimeout>30</fairSharePreemptionTimeout>`
我是否应该在fair-scheduler.xml中添加任何addl条目,以使队列快速获取作业。
只是我的资源经理的屏幕截图-
暂无答案!
目前还没有任何答案,快来回答吧!