我在aws上运行风暴群。但我希望风暴群在需要的时候自动扩展。我发现mesos是这样的。但我对mesos及其在aws上的部署知之甚少。aws上的mesos是否可以通过启动新示例并在不需要时关闭它们来自动提高拓扑任务的并行性?如果可以的话,我们应该如何配置mesos。
8mmmxcuj1#
mesos本身并不直接处理自动缩放,而是允许运行在其上的框架接收新的资源提供,并通过启动新的任务示例对其作出React。我没有亲自使用它,但您可以尝试使用storm mesos框架在mesos上运行storm:https://github.com/mesos/storm一旦storm在mesos上运行,准备在资源可用时启动新示例,就可以在现有集群的容量内自动缩放。您可能希望利用amazon的自动伸缩组(auto-scalinggroups,asg)来根据需要扩展mesos节点的数量。随着asg向上扩展更多的mesos节点,来自这些节点的资源将自动提供给storm mesos框架,该框架可以启动更多的storm示例。
vd2z7a6w2#
是的,你的方向是对的。不过,我建议使用marathon而不是低级别的mesosapi。例如,参见github repo obaidsalikeen/storm marathon,它在完整性和文档丰富性方面做得特别好。
2条答案
按热度按时间8mmmxcuj1#
mesos本身并不直接处理自动缩放,而是允许运行在其上的框架接收新的资源提供,并通过启动新的任务示例对其作出React。我没有亲自使用它,但您可以尝试使用storm mesos框架在mesos上运行storm:https://github.com/mesos/storm
一旦storm在mesos上运行,准备在资源可用时启动新示例,就可以在现有集群的容量内自动缩放。您可能希望利用amazon的自动伸缩组(auto-scalinggroups,asg)来根据需要扩展mesos节点的数量。随着asg向上扩展更多的mesos节点,来自这些节点的资源将自动提供给storm mesos框架,该框架可以启动更多的storm示例。
vd2z7a6w2#
是的,你的方向是对的。不过,我建议使用marathon而不是低级别的mesosapi。
例如,参见github repo obaidsalikeen/storm marathon,它在完整性和文档丰富性方面做得特别好。