我有一个问题： running beyond physical memory limits. Current usage: 1.5 GB of 1.4 GB physical memory used; 3.4 GB of 6.9 GB virtual memory used. Killing container. 我的集群是：4xc3.4xlagle（datanode）和m3.2xlarge（namenode），同样的配置我只有1.4gb可用。
为了解决这一点，我在这个网站上读到https://www.knowru.com/blog/first-3-frustrations-you-will-encounter-when-migrating-spark-applications-aws-emr/ 对于其他站点，重点是更改yarn-site.xml并添加此配置 yarn.nodemanager.vmem-check-enabled 但是，当我在emr中更改此配置、保存并重新启动resourcemanager时，此配置不会应用于配置页（emr）namenode:8088/conf)并且不起作用，但默认情况下，config create接受emr更改。
如何在群集emr运行时更改配置？
我看到这个设置只需要在集群创建中配置，真的吗？
我怎么能骗你？
1条答案
按热度按时间6qqygrtg1#
我犯了这个错误
running beyond physical memory limits. Current usage: 1.5 GB of 1.4 GB physical memory used; 3.4 GB of 6.9 GB virtual memory used. Killing container因为我的spark驱动使用默认配置，所以我把这个--driver-memory 5g在我的spark提交jar中配置并解决我的问题。我的案子里只有这个。