在一个mesos集群上有可能有不同内存量的执行器吗?还是我被记忆最少的机器束缚(假设我想使用所有可用的CPU)。
bihw5rsg1#
简短回答:没有。不幸的是,spark mesos和yarn只允许为每台机器提供与最差机器相同的资源(核心、内存等)(讨论)。理想情况下,集群应该是同质的,以便充分利用其资源。但是,可能存在解决问题的方法。根据上面链接的源代码,spark standalone允许在一些机器上创建多个worker。您可以修改worker配置以适合最差的计算机,并在这些计算机上启动多个worker。例如,给定两台分别具有4g和20g内存的计算机,您可以在后者上创建5个worker,每个worker的配置仅使用4g内存,因为第一台计算机的内存有限。
1条答案
按热度按时间bihw5rsg1#
简短回答:没有。
不幸的是,spark mesos和yarn只允许为每台机器提供与最差机器相同的资源(核心、内存等)(讨论)。理想情况下,集群应该是同质的,以便充分利用其资源。
但是,可能存在解决问题的方法。根据上面链接的源代码,spark standalone允许在一些机器上创建多个worker。您可以修改worker配置以适合最差的计算机,并在这些计算机上启动多个worker。
例如,给定两台分别具有4g和20g内存的计算机,您可以在后者上创建5个worker,每个worker的配置仅使用4g内存,因为第一台计算机的内存有限。