我使用的是hadoop yarn,我将我的环境配置为物理上由两个子网组成(由访问点组成,每个子网有一个站点),但我遇到了一个问题:当我将mapreduce.framework.name“yarn”设置为“mapred site.xml”时,它不起作用:执行卡在“running”状态,并且在很长一段时间后会显示消息“map”“0%减少0%”出现并再次卡住。如果我使用默认的“local”模式,它就工作得很好。每个组件之间的通信已经用ping进行了配置和测试,应该没有问题。我发布了我的配置文件,谢谢你的帮助。
core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://giovanni-pc:9000</value>
</property>
</configuration>
hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.client.use.datanode.hostname</name>
<value>true</value>>
</property>
<property>
<name>dfs.namenode.datanode.registration.ip-hostname-check</name>
<value>true</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/data/nameNode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/data/dataNode</value>
</property>
</configuration>
yarn-site.xml文件
<configuration>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1536</value>
</property>
<property>
<description>Max available cores data node.</description>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>1</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>1536</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>128</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>giovanni-pc</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.acl.enable</name>
<value>0</value>
</property>
</configuration>
mapred-site.xml文件
<configuration>
<property>
<name>yarn.app.mapreduce.am.resource.mb</name>
<value>512</value>
</property>
<property>
<name>mapreduce.map.memory.mb</name>
<value>256</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>256</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=/home/hadoop/hadoop</value>
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=/home/hadoop/hadoop</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=/home/hadoop/hadoop</value>
</property>
</configuration>
工人
nodename1
nodename2
暂无答案!
目前还没有任何答案,快来回答吧!