apache aurora gpu资源

bf1o4zei  于 2021-06-21  发布在  Mesos
关注(0)|答案(2)|浏览(325)

我正在检查apacheaurora,其范围是运行科学工作流(假设一组特定序列的python脚本)。我已经成功地运行了一些这样的aurora作业,对于我的特定用例来说它看起来很棒。
我想知道是否有一种方法可以指定一个特定的任务(或作业,一般来说)需要来自我的apachemesos集群的大量gpu资源当然mesos需要首先知道gpu资源,而且这似乎可以通过定义这些gpu资源来实现。
因此,问题是是否有一种方法可以通过极光与mesos通信,以接受gpu资源可用的报价。据我所知,aurora中的资源对象仅限于cpu/ram/disk资源。如有任何提示,我们将不胜感激。
谢谢!

at0kjp5o

at0kjp5o1#

我对apacheaurora不太熟悉,但mesosphere marathon(功能上类似于aurora的框架)也仅限于cpu、mem和磁盘资源。
如果您想使用自定义资源,可能需要编写自己的框架。根据你的需要,这可能没那么难。要获得灵感,请查看rendler框架。
正如您所引用的线程中所提到的,mesos不为gpu(实际上,对于任何自定义)资源提供隔离。做资源数学时要记住这一点。

7gyucuyw

7gyucuyw2#

在查看aurora教程时,我假设您可以将此资源指定为工作描述的一部分: resources = Resources(cpu = 2, ram = 4*GB, disk = 8*GB, gpu = 1), 请记住,这是mesos的人工资源,因此mesos在这种情况下不会考虑资源隔离。例如,如果一个系统上有多个gpu,那么代码必须管理不同gpu之间的隔离/调度。

相关问题