我已经在wsl中配置了hadoop系统并运行wordcount示例。但是当我想查看作业的历史记录时,我发现跟踪url无法访问。
作业运行良好,作业历史记录也在运行。
历史跟踪url是我的wslhostname:8088/proxy/application_1585482453915_0002/.
你可以看到上面的网址。
但我仍然可以访问localhost:19888/jobhistory 看看我的工作经历。
这个问题是怎么发生的?是配置问题吗?
我的hadoop版本是2.7.1。
我的核心站点.xml
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
我的hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/hadoop/tmp/dfs/data</value>
</property>
我的mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>localhost:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>localhost:19888</value>
</property>
my-site.xml
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
<description>Whether virtual memory limits will be enforced for containers</description>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>4</value>
<description>Ratio between virtual memory to physical memory when setting memory limits for containers</description>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
我的/etc/hosts
127.0.0.1 localhost
127.0.1.1 DESKTOP-U1EOV4J.localdomain DESKTOP-U1EOV4J
1条答案
按热度按时间pieyvz9o1#
这个
JobHistoryServer
守护程序正在运行localhost
(127.0.0.1),而跟踪url是用主机名构造的,因此重定向到DESKTOP-U1EOV4J.localdomain
(127.0.1.1).对于伪分布式集群,离开
JobHistoryServer
成为0.0.0.0
.更新中的作业历史记录服务器属性
mapred-site.xml
```mapreduce.jobhistory.address
0.0.0.0:10020
mapreduce.jobhistory.webapp.address
0.0.0.0:19888