如何为spark中的某个任务保留资源?

ukdjmx9f  于 2021-06-01  发布在  Hadoop
关注(0)|答案(0)|浏览(181)

我在spark中有两种任务:spark.scheduler.pool中的a和b,我有两个池:apool和bpool。
我希望任务a在apool中执行,而b在bpool中执行。
apool中的资源保存到a。因为任务b可能需要太多的资源来执行。每次执行b时,a都需要等待。我希望无论任务何时提交,总有一些资源可供a执行。
我在独立模式下使用spark和java。我像javardd.map(..).reduce这样提交作业。。。javardd是javardd的子clesse扩展形式。任务a和b有不同的rdd类,如ardd和brdd。它们运行在同一个spark应用程序中。
程序如下:应用程序启动->spark应用程序已创建,但没有作业运行->我在应用程序ui上单击“运行a”,然后ardd将运行。->我在应用程序界面上单击“runb”,然后brdd将与a在同一个spark应用程序中运行。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题