使用hadoop 2x的hadoop流的堆空间问题

mu0hgdu0  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(175)

我对hadoop2.4有一个严重的问题。我正在尝试运行我的用例,它是一个使用hadoop流jar的groovy脚本。它会导致错误: Java heap space - No memory .
以下是我的配置:
yarn-site.xml文件

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:8025</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master:8030</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>master:8040</value>
</property>
<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>128</value>
</property>
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>6144</value>
</property>
<property>
    <name>yarn.scheduler.minimum-allocation-vcores</name>
    <value>1</value>
</property>
<property>
    <name>yarn.scheduler.maximum-allocation-vcores</name>
    <value>2</value>
</property>
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4096</value>
</property>
<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>4</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
</property>

mapred-site.xml文件

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.map.memory.mb</name>
    <value>4096</value>
</property>
<property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>4096</value>
</property>
<property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx2048m</value>
</property>

我在每个节点上都有8gbram,没有reduce任务。
我运行作业的命令行如下follows:-
$hadoop\u install/bin/hadoop jar$hadoop\u install/hadoop-streaming-2.4.0.jar-libjars${libjars}-input/input.txt-mapper“launcher.groovy${args}”-inputformat org.apache.hadoop.mapred.lib.nlineinputformat-output/${dir}
有人能告诉我哪里出了问题吗?我对hadoop1.2.1没有任何这样的问题。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题