mesos上具有不同内存量的spark执行器

wooyq4lh  于 2021-06-21  发布在  Mesos
关注(0)|答案(1)|浏览(371)

在一个mesos集群上有可能有不同内存量的执行器吗?还是我被记忆最少的机器束缚(假设我想使用所有可用的CPU)。

bihw5rsg

bihw5rsg1#

简短回答:没有。
不幸的是,spark mesos和yarn只允许为每台机器提供与最差机器相同的资源(核心、内存等)(讨论)。理想情况下,集群应该是同质的,以便充分利用其资源。
但是,可能存在解决问题的方法。根据上面链接的源代码,spark standalone允许在一些机器上创建多个worker。您可以修改worker配置以适合最差的计算机,并在这些计算机上启动多个worker。
例如,给定两台分别具有4g和20g内存的计算机,您可以在后者上创建5个worker,每个worker的配置仅使用4g内存,因为第一台计算机的内存有限。

相关问题