增加每个节点分配的内存时,hadoop安装程序不起作用

dced5bon  于 2021-05-30  发布在  Hadoop
关注(0)|答案(0)|浏览(252)

我向yarn-site.xml添加了以下属性,以便为每个节点分配24 gb内存。

<property>
   <name>yarn.nodemanager.resource.memory-mb</name>
    <value>24576</value>
</property>
<property>
   <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
</property>
<property>
   <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
</property>

我还向mapred-site.xml添加了以下内容

<property>
   <name>mapreduce.map.memory.mb</name>
    <value>2048</value>
</property>
<property>
   <name>mapreduce.reduce.memory.mb</name>
    <value>4096</value>
</property>

现在我的节点确实显示了24gb的每个分配内存,但是当我运行我的任务时,很多reduce任务在Map程序完成之前就开始了,所有任务都失败了。大多数都失败了,只有一个例外:

15/04/13 17:34:05 INFO mapreduce.Job: Task Id : attempt_1428956863444_0001_m_000028_0, Status : FAILED
Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException:
org.apache.hadoop.util.Shell$ExitCodeException:
        at org.apache.hadoop.util.Shell.runCommand(Shell.java:505)

相同的进程以每个节点8gb的默认配置运行。它需要几个小时才能完成,但以前是工作。我甚至不能让进程成功运行。
还有其他配置需要更改吗?任何帮助都将不胜感激。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题