yarn hadoop错误java堆空间

clj7thdc 于 2021-05-30 发布在 Hadoop

关注(0)|答案(1)|浏览(394)

我在hadoop2.6.0上使用了yarn。当我运行mapreduce作业时，出现如下错误：

15/03/12 22:22:59 INFO mapreduce.Job: Task Id : attempt_1426132548565_0003_m_000002_1, Status : FAILED
Error: Java heap space
15/03/12 22:22:59 INFO mapreduce.Job: Task Id : attempt_1426132548565_0003_m_000000_1, Status : FAILED
Error: Java heap space
15/03/12 22:23:20 INFO mapreduce.Job: Task Id : attempt_1426132548565_0003_m_000002_2, Status : FAILED
Error: Java heap space
Container killed by the ApplicationMaster.

如果配置java.opts属性为false。这个错误是因为那个配置吗？Yarn站点和Map站点上的内存设置之间有联系吗？
我很困惑，我需要你的建议谢谢

Java hadoop yarn Memory heap-memory

来源：https://stackoverflow.com/questions/29013989/yarn-hadoop-error-java-heap-space

1条答案

按热度按时间

mklgxw1f1#

当容器超过内存/cpu使用量时，它将被应用程序主程序终止。在您的情况下，Map程序可能正在使用多余的内存。尝试添加以下配置：
在mapred-site.xml中：

<property>
   <name> mapreduce.map.memory.mb </name>
   <value>1024</value>
   <description>Enter The amount of memory to request from the scheduler for each map task. </description>
 </property>

默认值是1024，请尝试将其增加到2048。
我建议您在更改配置后重新启动集群

赞(0）回复(0）举报 2021-05-30

我来回答

yarn hadoop错误java堆空间

1条答案

相关问题

热门标签

最新问答