我有一个集群设置,其中的节点不可靠,可能会宕机(它们是aws spot示例)。我试图确保我的应用程序主机只在集群的可靠节点(aws on demand示例)上启动。是否有解决方法?我的集群由hortonworks ambari管理。
yh2wf1be1#
这可以通过使用节点标签来实现。我可以使用spark spark.yarn.am.nodelabelexpression中的属性在yarn上运行spark时将我的应用程序主机限制为一组节点。将节点标签添加到要用于应用程序主节点的节点。
1条答案
按热度按时间yh2wf1be1#
这可以通过使用节点标签来实现。我可以使用spark spark.yarn.am.nodelabelexpression中的属性在yarn上运行spark时将我的应用程序主机限制为一组节点。将节点标签添加到要用于应用程序主节点的节点。