hadoop还原数配置选项优先级

3lxsmp7m 于 2021-06-03 发布在 Hadoop

关注(0)|答案(3)|浏览(412)

以下3个选项的优先顺序是什么？换言之，如果这三个都设置好了，会考虑哪一个？
选项1：

setNumReduceTasks(2) within the application code

选项2：

-D mapreduce.job.reduces=2 as command line argument

选项3：

through $HADOOP_CONF_DIR/mapred-site.xml file

 <property>
  <name>mapreduce.job.reduces</name>
  <value>2</value>
 </property>

hadoop mapreduce yarn reduce Configuration

来源：https://stackoverflow.com/questions/20696449/hadoop-number-of-reducers-configuration-options-priority

3条答案

按热度按时间

mkshixfv1#

第一优先级：通过命令行传递配置参数（提交mr应用程序时）
第二优先级：在应用程序代码中设置配置参数
第三个优先级：它将从多个xml文件（如core-site.xml、hadoop-env.sh、hdfs-site.xml、log4j.properties和mapred-site.xml）中读取默认参数

赞(0）回复(0）举报 2021-06-03

0qx6xfy62#

根据 Hadoop - The Definitive Guide d选项用于将key color的配置属性设置为黄色。用-d指定的选项优先于配置文件中的属性。这非常有用，因为您可以将默认值放入配置文件中，然后根据需要使用-d选项覆盖它们。一个常见的例子是通过-d mapred.reduce.tasks=n设置mapreduce作业的缩减器数量。这将覆盖在集群上设置的或在任何客户端配置文件中设置的缩减器的数量。

赞(0）回复(0）举报 2021-06-03

x7rlezfr3#

你有他们按优先顺序-选项1将覆盖2，2将覆盖3。换句话说，选项1将是您的工作在此场景中使用的选项

赞(0）回复(0）举报 2021-06-03