是否可以为spark中的特定任务选择特定的worker?

ruyhziif  于 2021-06-26  发布在  Mesos
关注(0)|答案(1)|浏览(358)

实际需求就像我有只能通过特定机器访问的设备一样,那么是否有可能将涉及到特定设备通信的任务分配给可以访问该设备的工作人员?
假设有一个主从星团。工人是可以访问特定设备的机器,而主人不能访问这些设备。
我查阅了一些文档,了解到使用mesos集群管理器是可能的,但是没有找到一些描述如何做到这一点的内容,对此的任何参考都将不胜感激。

imzjd6km

imzjd6km1#

spark.mesos.constraints -基于属性的mesos资源提供约束。默认情况下,将接受所有资源提供。此设置仅适用于执行者。有关属性的更多信息,请参阅mesos属性和参考资料。标量约束与“小于等于”语义匹配,即约束中的值必须小于或等于资源提供中的值。范围约束与“包含”语义匹配,即约束中的值必须在资源提供的值内。集合约束与“子集”语义匹配,即约束中的值必须是资源提供值的子集。文本约束与“相等”语义匹配,即约束中的值必须与资源提供的值完全相等。如果没有值作为约束的一部分出现,则将接受具有相应属性的任何报价(不进行值检查)。

相关问题