我有10台服务器（16g内存，8核），想部署hadoop和spark，你能告诉我哪种方案能最大限度地利用资源吗？立即部署；安装openstack，将环境部署到虚拟机中；使用docker，如docker上的spark；我知道与使用场景相关的资源利用率，实际上我想知道以上三种方案的优缺点。谢谢您。
au9on6nz1#
为了获得最高的资源利用率，为spark和hadoop部署一个单一的资源管理器将是最好的方法。有两种选择：使用yarn部署hadoop集群，因为spark可以在yarn上运行。部署apachemesos集群，并在其上运行hadoop作业和spark。隔离spark集群和hadoop集群没有任何优势，会导致更高的开销和更低的资源利用率。
1条答案
按热度按时间au9on6nz1#
为了获得最高的资源利用率，为spark和hadoop部署一个单一的资源管理器将是最好的方法。有两种选择：
使用yarn部署hadoop集群，因为spark可以在yarn上运行。
部署apachemesos集群，并在其上运行hadoop作业和spark。
隔离spark集群和hadoop集群没有任何优势，会导致更高的开销和更低的资源利用率。