2.6.0中,容器因虚拟内存不足而被终止

i34xakig  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(425)

我试图在hadoop上实现jcuda代码,它在本地模式下工作,但是当我在hadoop集群上运行作业时,它给了我一个error:the container 这里是具体的错误报告:
16/04/29 10:18:07 info mapreduce.job:任务id:尝试\u 1461835313661 \u 0014 \u r\000009 \u 2,状态:失败的容器[pid=19894,containerid=container \u 1461835313661 \u 0014 \u 01 \u 000021]正在超出虚拟内存限制运行。当前使用情况:使用197.5 mb的1 gb物理内存;使用了20.9 gb的2.1 gb虚拟内存。杀人容器。
输入数据只有200mb,但作业要求20.9gb虚拟内存我不知道为什么。我尝试增加虚拟内存,配置在yarn-site.xml中:

<property>
   <name>yarn.nodemanager.vmem-pmem-ration</name>
   <value>12</value>
</property>

 <property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
 </property>

 <property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
 </property>

它不起作用,我不知道如何解决它,我很抱歉我的英语不好。

sz81bmfz

sz81bmfz1#

Please check the following parameters and set it if not set to the values below:

    In mapred-site.xml:

    mapreduce.map.memory.mb: 4096

    mapreduce.reduce.memory.mb: 8192

    mapreduce.map.java.opts: -Xmx3072m

    mapreduce.reduce.java.opts: -Xmx6144m

Hope this solves your issue

相关问题