我们希望使用docker容器在集群环境中运行批处理作业。我们正在评估使用aws ecs容器服务/chronos/mesos。据我所知，apachemesos与ec2有一些重叠的特性/用途，比如集群管理。chronos是一个分布式调度程序。
我很难将所有这些技术关联起来创建一个体系结构！
ec2服务是否替换mesos？调度程序呢？
我们是一个小团队，在集群开发方面经验很少。哪种堆栈更适合我们的批处理？
编辑我做了一个巨大的编辑，我想现在我了解了架构：
这是一张由mesos管理的两个集群的示例图片。
阅读ecs容器服务文档(http://docs.aws.amazon.com/amazonecs/latest/developerguide/scheduling_tasks.html)aws正在与mesos-apache框架集成ecs。因此，我设想将来使用mesos框架来管理ecs集群中的资源。因此，chronos（用于批量调度）和marathon（用于长跑应用程序）将成为可能
编辑在这个时刻，我们没有分布式作业运行，如hadoop作业或sparks作业。我们的工作要简单得多，在ec2的单个示例上运行。我们计划使用docker来运行批处理运行作业。
1条答案
按热度按时间cgh8pdjw1#
我认为这取决于批处理作业的类型，但是apachemesos生态系统肯定比ecs更灵活，可以满足您的需求。灵活性来自这样一个事实，即mesos使用所谓的两级调度模型，这是一个花哨的名字，因为它将调度决策外包到框架中（而不是试图在其核心本身实现每个现有和未来的工作负载调度策略）。
你已经提到了一个这样的框架，chronos，这是一个很好的工作马，只是也许不使用作业的依赖关系，好吗？还有另一个很棒的批处理框架cook。根据您的需要（例如基于sql的批处理报告生成），您可以使用apachespark。以此类推。
顺便说一句，我是否已经提到，使用mesos，您不必冒供应商锁定的风险，同时可以根据您的需要，将其完全部署在一个云（如aws）、混合云（如aws和gcp/azure）或内部部署中？
更新：澄清一下，mesos当然有一流的docker支持。