在集群模式下运行两个版本的apachespark

h43kikqp  于 2021-06-26  发布在  Mesos
关注(0)|答案(1)|浏览(339)

我希望能够在单个集群上以集群模式运行spark2.0和spark1.6.1,以便能够共享资源,实现这一点的最佳实践是什么?这是因为我希望能够保护一组特定的应用程序不受依赖于1.6.1和spark 2.0的代码更改的影响。
基本上,集群可以依赖spark 2.0的动态分配,但可能不依赖于1.6.1—这是灵活的。

ztmd8pv5

ztmd8pv51#

通过使用docker,您可以运行各种版本的spark应用程序,因为docker单独运行应用程序。
docker是一个用于开发、发布和运行应用程序的开放平台。使用docker,您可以将应用程序与基础结构分离,并将基础结构视为托管应用程序。
工业界正在采用docker,因为它提供了在一个螺母壳中运行各种版本应用程序的灵活性
mesos还允许使用marathon运行docker容器
更多信息请参考https://www.docker.com/httpshttp://mesophere.github.io/marathon/docs/native-docker.html
希望这有帮助!!!。。。。

相关问题