我在mesos中通过使用操作符httpapi使用动态资源预留。我在某个特定角色(例如role-1)的一些从属服务器中保留资源。现在,我想使用只属于role-1的资源启动spark应用程序。然而,由于spark是一个贪婪的框架,它接受所有提供的资源,所以它在我的从属服务器中使用无保留的资源。因此,role-1中的保留资源不能被其他应用程序使用。如何严格强制spark应用程序只使用保留的资源?
ct2axkht1#
你可以用 spark.mesos.role (见https://spark.apache.org/docs/latest/running-on-mesos.html#configuration)
spark.mesos.role
1条答案
按热度按时间ct2axkht1#
你可以用
spark.mesos.role
(见https://spark.apache.org/docs/latest/running-on-mesos.html#configuration)