hadoop没有利用可用内存

fjaof16o 于 2021-06-02 发布在 Hadoop

关注(0)|答案(1)|浏览(418)

我有一个2节点集群（每个节点有32gbram和8个内核）。我已经安装了cdh 5.4。但我不认为hadoop正在使用可用内存，因为page:8088/cluster/apps在“内存总量”列中只显示了16gb。只有一次我可以看到“内存总量”为64gb，不知道是怎么回事。原因是什么？
谢谢，巴胡

1条答案

您必须配置每个节点可用于Yarn的内存。此设置位于yarn-site.xml中。有一些属性控制可以为nodemanager中的容器分配分配的最大内存。看起来您使用的值是8gb（默认值）。将下面的属性设置为更高的值。

yarn.nodemanager.resource.memory-mb

类似地，对于核心，还有另一个属性

yarn.nodemanager.resource.cpu-vcores.

在所有节点的yarn-site.xml中设置这些属性后，重新启动yarn集群。这将增加nodemanager内存共享。除此之外，很少有更多的属性可以调整集群。有关详细信息，请访问此url