yarn:如何让yarn使用更多的内存和vcore

uidvcgyl  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(681)

我们有一个由yarn和hadoop管理的5节点集群
1个主名称节点8个vCore和24gb内存
4个数据节点每个8个vCore和24gb内存
当我查看ui上的Yarn配置时,如下图所示,它只使用16gb和6个vCore

我们的应用程序正在使用所有的16gb内存,因此希望增加可用内存(操作系统为24-2gb,可用内存为22gb)
我需要在哪里配置这个22gb而不是16gb?
研究发现,yarn-site.xml可能就是这个地方,所以继续更新它,重新启动了yarn,但它仍然显示16gb
如果社区中的任何Maven能帮助我们,我将不胜感激,因为我们是新手
这是yarn-site.xml

<configuration>

    <!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hdfs-name-node</value>
    </property>

    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>21528</value>
    </property>

    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>6</value>
    </property>

    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>21528</value>
    </property>

    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>file:///tmp/hadoop/data/nm-local-dir,file:///tmp/hadoop/data/nm-local-dir/filecache,file:///tmp/hadoop/data/nm-local-dir/usercache</value>
    </property>

    <property>
        <name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
        <value>500</value>
    </property>

    <property>
         <name>yarn.nodemanager.localizer.cache.target-size-mb</name>
         <value>512</value>
    </property>

    <property>
        <name>yarn.nodemanager.address</name>
        <value>0.0.0.0:8039</value>
    </property>

    </configuration>
8tntrjer

8tntrjer1#

你的理解完全错误。根据您所附的图片,Yarn使用的总内存为64gb,vCore为24。
图中突出显示的部分是调度器内存和vCore,这是管理员为租户设计的。
如果您是调度程序队列的一部分,则最多可以使用16 gb和6个vCore。

r1zk6ea1

r1zk6ea12#

根据这张图片,您的集群容量是64gb和24个vCore。
红色圆圈(实际上是椭圆形;)显示为容量计划程序配置的资源。
我需要在哪里配置这个22gb而不是16gb?
您需要配置您的队列(前提是您有适当的权限这样做)。欲了解更多信息,请阅读此

相关问题