在hortonworks hadoop中减少ram大小时出错

mctunoxg  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(361)

我必须减少虚拟盒的内存大小从4 gb到1 gb。我曾试图减少它,但它是不变的,所以请建议方法,以正确的方式做它。我附上截图。

iyr7buue

iyr7buue1#

同样的错误也发生在我尝试hadoop时,现在你可以使用这些东西了。在hadoop集群中配置yarn时,平衡ram、cpu和磁盘的使用非常重要,这样处理就不会受到这些集群资源的任何一个的限制。作为一般建议,我们发现允许每个磁盘和每个核心使用1-2个容器可以为集群利用率提供最佳平衡。因此,在我们的示例集群节点中,有12个磁盘和12个核心,我们将允许为每个节点分配最多20个容器。我们集群中的每台机器都有48 gb的ram。这些ram中的一部分应该保留给操作系统使用。在每个节点上,我们将为yarn分配40gbram以供使用,并为操作系统保留8gb。以下属性设置节点上可使用的最大内存:in yarn-site.xml

<name>yarn.nodemanager.resource.memory-mb</name>

<value>40960</value>

下一步是就如何将可用的总资源分解到容器中提供指导。为此,您可以指定要为容器分配的最小ram单位。我们希望最多允许20个容器,因此需要(40 gb总ram)/(20#个容器)=每个容器至少2 gb:在yarn-site.xml中

<name>yarn.scheduler.minimum-allocation-mb</name>

 <value>2048</value>

yarn将分配ram量大于yarn.scheduler.minimum-allocation-mb的容器。有关更多信息,请访问hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/

相关问题