如何增加ui上显示的“内存总量”？

3hvapo4f 于 2021-05-29 发布在 Hadoop

关注(0)|答案(2)|浏览(445)

我在emr（emr-5.20.0）上有一个集群，其中一个m5.2xlarge作为节点主节点，两个m4.large作为核心，三个m4.large作为节点工作者。这个集群的内存ram之和是62gb，但在yarn ui中显示的总内存是30gb。
有人能帮我理解这个值是怎么计算的吗？
我已经检查了yarn-site.xml和spark-default.conf中的配置，它们是根据aws建议配置的：https://docs.aws.amazon.com/pt_br/emr/latest/releaseguide/emr-hadoop-task-config.html#emr-hadoop-task-config-m5
欢迎任何帮助

hadoop yarn apache-spark pyspark apache-zeppelin

来源：https://stackoverflow.com/questions/56249032/how-to-increase-the-memory-total-that-display-on-yarn-ui

2条答案

按热度按时间

fnvucqvd1#

在可用内存/核心中不包括主节点。
所以您应该得到大约5 x 8gb（m4.large）。您将得到比这更少的内存开销，因为还有留给操作系统和服务的内存开销。

赞(0）回复(0）举报 2021-05-29

cld4siwp2#

Yarn中的内存设置可以使用以下集群参数进行配置：

yarn.nodemanager.resource.memory-mb
yarn.scheduler.minimum-allocation-mb
yarn.scheduler.increment-allocation-mb
yarn.scheduler.maximum-allocation-mb

通过调整这些参数，您可以增加/减少分配给集群的总内存。

赞(0）回复(0）举报 2021-05-29

我来回答

如何增加ui上显示的“内存总量”？

2条答案

相关问题

热门标签

最新问答