hadoop jobtracker的跟踪url无法访问

t8e9dugd  于 2021-05-31  发布在  Hadoop
关注(0)|答案(1)|浏览(830)

我已经在wsl中配置了hadoop系统并运行wordcount示例。但是当我想查看作业的历史记录时,我发现跟踪url无法访问。
作业运行良好,作业历史记录也在运行。

历史跟踪url是我的wslhostname:8088/proxy/application_1585482453915_0002/.

你可以看到上面的网址。
但我仍然可以访问localhost:19888/jobhistory 看看我的工作经历。

这个问题是怎么发生的?是配置问题吗?
我的hadoop版本是2.7.1。
我的核心站点.xml

<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

我的hdfs-site.xml

<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/hadoop/tmp/dfs/data</value>
    </property>

我的mapred-site.xml

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>localhost:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>    
        <value>localhost:19888</value>
    </property>

my-site.xml

<property>
      <name>yarn.nodemanager.vmem-check-enabled</name>
      <value>false</value>
      <description>Whether virtual memory limits will be enforced for containers</description>
  </property>
  <property>
      <name>yarn.nodemanager.vmem-pmem-ratio</name>
      <value>4</value>
      <description>Ratio between virtual memory to physical memory when setting memory limits for containers</description>
  </property>
  <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
  </property>
  <property>
      <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>

我的/etc/hosts

127.0.0.1   localhost
127.0.1.1   DESKTOP-U1EOV4J.localdomain DESKTOP-U1EOV4J
pieyvz9o

pieyvz9o1#

这个 JobHistoryServer 守护程序正在运行 localhost (127.0.0.1),而跟踪url是用主机名构造的,因此重定向到 DESKTOP-U1EOV4J.localdomain (127.0.1.1).
对于伪分布式集群,离开 JobHistoryServer 成为 0.0.0.0 .
更新中的作业历史记录服务器属性 mapred-site.xml ```

mapreduce.jobhistory.address
0.0.0.0:10020


mapreduce.jobhistory.webapp.address
0.0.0.0:19888

然后重新启动 `JobHistoryServer` .

相关问题