hadoop如何为每个节点分配更多内存

rqcrx0a6 于 2021-05-30 发布在 Hadoop

关注(0)|答案(2)|浏览(470)

我有一个hadoop集群，运行在两个节点（主节点和从节点）上，每个节点都有126gbram和32cpu。当我运行集群时，每个节点只能看到8gb内存。如何增加这个？每个节点分配的最佳内存是什么？如何分配？

2条答案

您可能必须告诉hadoop在启动jvm时要使用哪些参数，否则它将使用java实现的默认值。
在你的 mapred-site.xml ，您可以添加此 mapred.child.java.opts 字段指定要用于JVM的内存大小。

<property>
    <name>mapred.child.java.opts</name>
    <value>-Xmx16000m</value>
</property>

其中16000是要分配给每个jvm的mb数。
希望有帮助！
来源

这篇博文会给你很多帮助；http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/