我希望能够在单个集群上以集群模式运行spark2.0和spark1.6.1,以便能够共享资源,实现这一点的最佳实践是什么?这是因为我希望能够保护一组特定的应用程序不受依赖于1.6.1和spark 2.0的代码更改的影响。基本上,集群可以依赖spark 2.0的动态分配,但可能不依赖于1.6.1—这是灵活的。
ztmd8pv51#
通过使用docker,您可以运行各种版本的spark应用程序,因为docker单独运行应用程序。docker是一个用于开发、发布和运行应用程序的开放平台。使用docker,您可以将应用程序与基础结构分离,并将基础结构视为托管应用程序。工业界正在采用docker,因为它提供了在一个螺母壳中运行各种版本应用程序的灵活性mesos还允许使用marathon运行docker容器更多信息请参考https://www.docker.com/httpshttp://mesophere.github.io/marathon/docs/native-docker.html希望这有帮助!!!。。。。
1条答案
按热度按时间ztmd8pv51#
通过使用docker,您可以运行各种版本的spark应用程序,因为docker单独运行应用程序。
docker是一个用于开发、发布和运行应用程序的开放平台。使用docker,您可以将应用程序与基础结构分离,并将基础结构视为托管应用程序。
工业界正在采用docker,因为它提供了在一个螺母壳中运行各种版本应用程序的灵活性
mesos还允许使用marathon运行docker容器
更多信息请参考https://www.docker.com/httpshttp://mesophere.github.io/marathon/docs/native-docker.html
希望这有帮助!!!。。。。