java—Yarn上可用的物理芯数和V芯数之间的关系?

vlf7wbxs  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(354)

我对yarn是个新手,我正在用java编写一个yarn应用程序。根据要求,我只能在一台机器上使用n个物理核。yarn允许设置要分配给应用程序的vcore和内存的数量。对于给定的n个物理核,是否可以确定vcore的数量?
如果我有32个物理核,而我只想使用8个物理核,那么我的应用程序的vCore数应该是多少?

uklbhaso

uklbhaso1#

请注意,通常分配给作业的容器数是由内存使用量决定的(因为这是限制因素)。
但是,如果Yarn中的vcore设置不正确(例如,vcore设置太小),则会限制簇的处理能力。
分配给Yarn的V芯数可以通过cpu数量乘以每个cpu的芯数来计算,如下所述

rjzwgtxy

rjzwgtxy2#

使用8
在几乎所有情况下,节点的虚拟核心容量都应设置为计算机上物理核心的数量。
http://blog.cloudera.com/blog/2013/12/managing-multiple-resources-in-hadoop-2-with-yarn/

相关问题