uber模式配置设置对齐,但作业不在uber模式下执行

83qze16e  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(358)

根据hortonworks的文档,在“uber模式”下执行hadoop作业的方法是配置自己的 maprep-site.xml 设置如下:

<configuration>
  <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
  </property>
  <property>
     <name>mapreduce.job.ubertask.enable</name>
     <value>true</value>
  </property>
  <property>
     <name>mapreduce.job.ubertask.maxmaps</name>
     <value>1</value>
  </property>
  <property>
     <name>mapreduce.job.ubertask.maxreduces</name>
     <value>1</value>
  </property>
  <property>
     <name>mapreduce.job.ubertask.maxbytes</name>
     <value>134217728</value>
  </property>
</configuration>

为了 mapreduce.job.ubertask.maxbytes ,我真的不知道该放什么,我从 dfs.block.size 中的参数 hdfs-site.xml 我真的不知道该怎么说。

<property> 
    <name>dfs.block.size</name> 
    <value>134217728</value> 
    <description>Block size</description> 
</property>

最初,块大小是根据我的预感分配的,我的工作失败的原因之一是输入数据-需要是原子的(从某种意义上说,它不能被分解并逐块输入到Map器)-在hdfs中被拆分。
因此,尽管这些设置的配置方式使得hortonworks文档和其他文档认为足以在“uber模式”下执行作业,但实际上作业并没有在该模式下执行,如下所示:

我配置的设置是否有问题,导致我的作业无法在uber模式下执行?

vof42yt1

vof42yt11#

操作系统中的那些配置设置都是可以的 uber mode 你只能有一个输入文件,而不是像以前那样有多个。请看这里:

17/10/12 20:42:42 INFO input.FileInputFormat: Total input files to process : 1
17/10/12 20:42:43 INFO mapreduce.JobSubmitter: number of splits:1
17/10/12 20:42:43 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1507833515636_0005
17/10/12 20:42:44 INFO impl.YarnClientImpl: Submitted application application_1507833515636_0005
17/10/12 20:42:44 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1507833515636_0005/
17/10/12 20:42:44 INFO mapreduce.Job: Running job: job_1507833515636_0005
17/10/12 20:42:49 INFO mapreduce.Job: Job job_1507833515636_0005 running in uber mode : true

或者,直接从马嘴里说:

相关问题