我有一个使用cassandra的spark应用程序。我想设置一个位于同一位置的部署，这样spark节点就可以本地访问c以提高性能。在传统的安装中，我会在服务器上手动安装c，然后在这些节点上安装spark standalone。但是我想使用apachemesos来管理我的集群。在mesos中是否有这样的方法来完成这个任务，以便mesos在相同的节点上运行c*和spark？
icnyk63a1#
我再抬头看了看，现在看来，马拉松比赛中的限制就是解决这个问题的方法。如果其他人也在找同样的东西，马拉松约束文档可以很好地解释这一点。https://github.com/mesosphere/marathon/blob/master/docs/docs/constraints.md
klh5stk12#
如果您使用spark framework for mesos，我不确定marathon约束是否起作用，因为它总是由一个框架的调度器来决定在何处启动任务。您可以尝试仅通过marathon在同一节点上启动c*和spark作业，但可能不如使用专用框架灵活。我们有在所谓的“基础设施框架”中解决局部性的想法，但这是wip。
2条答案
按热度按时间icnyk63a1#
我再抬头看了看，现在看来，马拉松比赛中的限制就是解决这个问题的方法。如果其他人也在找同样的东西，马拉松约束文档可以很好地解释这一点。
https://github.com/mesosphere/marathon/blob/master/docs/docs/constraints.md
klh5stk12#
如果您使用spark framework for mesos，我不确定marathon约束是否起作用，因为它总是由一个框架的调度器来决定在何处启动任务。您可以尝试仅通过marathon在同一节点上启动c*和spark作业，但可能不如使用专用框架灵活。我们有在所谓的“基础设施框架”中解决局部性的想法，但这是wip。