我有以下带有重叠ec2示例的集群，例如：yarn cluster和memcached cluster使用相同的示例2、3、4；而且，每个示例都有不同的ram、cpu、内核大小，这会不会有潜在的问题？或者集群可以自己平衡？谢谢您！
Spark簇：ec2示例2、3、5
Yarn簇：ec2示例1、2、3、4、5
memcached数据库集群：ec2示例2、3、4、6
instance 1: 512GB RAM, 2 vCPU, 2 cores
instance 2: 1TB RAM, 8 vCPU, 4 cores
instance 3: 2TB RAM, 6 vCPU, 6 cores
instance 4: 256GB RAM, 2 vCPU, 2 cores
instance 5: 2TB RAM, 16 vCPU, 4 cores
instance 6: 4TB RAM, 4 vCPU, 8 cores
1条答案
按热度按时间h6my8fg21#
集群不知道这种共享；您需要为每个主机配置资源分配，以避免过度承诺。
如果对于任何节点，总资源分配使超过所有ram/核心/磁盘可用，那么您将面临风险（最常见的风险是spark task或yarn child无法启动）。例如，3不能为每个服务分配1t。
例如，在示例3中，不能为每个服务分配1t。
作为旁注，Spark可以运行在Yarn，所以有一个选项，以减少这两个集群。