我有一个21节点的Hivellap电子病历集群。配置单元llap守护进程未使用可用的群集vcpu分配。160芯可用于Yarn，但每个llap仅使用1个V芯。每个节点有64 gb内存和8个vCore。每个节点运行1个llap deamon，其分配的70%内存只有1个vcore。一些属性：
yarn.nodemanager.resource.cpu-vcores=8;
yarn.scheduler.minimum-allocation-vcores=1;
yarn.scheduler.maximum-allocation-vcores=128;
hive.llap.daemon.vcpus.per.instance=4;
hive.llap.daemon.num.executors=4;为什么守护进程没有分配超过1个vcore？执行者将能够使用可用的vcore还是只能使用分配给守护进程的1个vcore。
1条答案
按热度按时间l3zydbqr1#
如果你在yarn ui中看到这个，你可能需要添加这个
yarn.scheduler.capacity.resource-calculator: org.apache.hadoop.yarn.util.resource.DominantResourceCalculator我也有同样的困惑。实际上在使用DefaultResourceCalculator在yarn ui中，它只计算内存使用情况，在场景后面，它可能使用了多个内核，但您将看到只使用了一个内核。另一方面DominantResourceCalculator计算核心和内存的资源分配，并显示核心和内存的实际数量。您可以启用ganglia或查看emr度量以了解更多详细信息。