根据hortonworks的文档,在“uber模式”下执行hadoop作业的方法是配置自己的 maprep-site.xml
设置如下:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>
<property>
<name>mapreduce.job.ubertask.maxmaps</name>
<value>1</value>
</property>
<property>
<name>mapreduce.job.ubertask.maxreduces</name>
<value>1</value>
</property>
<property>
<name>mapreduce.job.ubertask.maxbytes</name>
<value>134217728</value>
</property>
</configuration>
为了 mapreduce.job.ubertask.maxbytes
,我真的不知道该放什么,我从 dfs.block.size
中的参数 hdfs-site.xml
我真的不知道该怎么说。
<property>
<name>dfs.block.size</name>
<value>134217728</value>
<description>Block size</description>
</property>
最初,块大小是根据我的预感分配的,我的工作失败的原因之一是输入数据-需要是原子的(从某种意义上说,它不能被分解并逐块输入到Map器)-在hdfs中被拆分。
因此,尽管这些设置的配置方式使得hortonworks文档和其他文档认为足以在“uber模式”下执行作业,但实际上作业并没有在该模式下执行,如下所示:
我配置的设置是否有问题,导致我的作业无法在uber模式下执行?
1条答案
按热度按时间vof42yt11#
操作系统中的那些配置设置都是可以的
uber mode
你只能有一个输入文件,而不是像以前那样有多个。请看这里:或者,直接从马嘴里说: