我有以下带有重叠ec2示例的集群,例如:yarn cluster和memcached cluster使用相同的示例2、3、4;而且,每个示例都有不同的ram、cpu、内核大小,这会不会有潜在的问题?或者集群可以自己平衡?谢谢您!
Spark簇:ec2示例2、3、5
Yarn簇:ec2示例1、2、3、4、5
memcached数据库集群:ec2示例2、3、4、6
instance 1: 512GB RAM, 2 vCPU, 2 cores
instance 2: 1TB RAM, 8 vCPU, 4 cores
instance 3: 2TB RAM, 6 vCPU, 6 cores
instance 4: 256GB RAM, 2 vCPU, 2 cores
instance 5: 2TB RAM, 16 vCPU, 4 cores
instance 6: 4TB RAM, 4 vCPU, 8 cores
1条答案
按热度按时间h6my8fg21#
集群不知道这种共享;您需要为每个主机配置资源分配,以避免过度承诺。
如果对于任何节点,总资源分配使超过所有ram/核心/磁盘可用,那么您将面临风险(最常见的风险是spark task或yarn child无法启动)。例如,3不能为每个服务分配1t。
例如,在示例3中,不能为每个服务分配1t。
作为旁注,Spark可以运行在Yarn,所以有一个选项,以减少这两个集群。