无法通过泛型选项解析器设置mapreduce.job.reduces

6uxekuva  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(439)
hadoop jar MapReduceTryouts-1.jar invertedindex.simple.MyDriver -D mapreduce.job.reduces=10 /user/notprabhu2/Input/potter/ /user/notprabhu2/output

我一直试图通过genericoptionparser提供的-d选项来设置reducer的数量,但这似乎不起作用,我也不知道为什么。
我试过了 -D mapreduce.job.reduces=10 (在-d后面加空格)以及 -Dmapreduce.job.reduces=10 (在-d后面没有空格)但是似乎没有什么可以躲闪。
在我的驱动程序类中,我实现了一些工具。

package invertedindex.simple;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class MyDriver extends Configured implements Tool {

    @Override
    public int run(String[] args) throws Exception {

        Configuration conf = getConf();
        Job job = Job.getInstance(conf);

        job.setJarByClass(MyDriver.class);

        Path outputPath =  new Path(args[1]);
        outputPath.getFileSystem(getConf()).delete(outputPath, true);

        job.setMapperClass(MyMapper.class);
        job.setReducerClass(MyReducer.class);

        job.setInputFormatClass(TextInputFormat.class);
        job.setOutputFormatClass(TextOutputFormat.class);

        TextInputFormat.addInputPath(job, new Path(args[0]));
        TextOutputFormat.setOutputPath(job, outputPath);

        job.setNumReduceTasks(3);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        return job.waitForCompletion(true) ? 0 : 1;

    }

    public static void main(String[] args) throws Exception {
        int exitCode = ToolRunner.run(new Configuration(),new MyDriver(), args);
        System.exit(exitCode);
    }

}

因为在我的驱动程序代码中我已经明确地将reducer的数量设置为3,所以我总是以3个reducer结束。
我正在使用 CDH 5.4.7 哪个有 Hadoop 2.6.0 在google计算引擎的2节点集群上。

m2xkgtsf

m2xkgtsf1#

为xml标记中的还原数mapreduce.job.reduces设置属性
在mapred-site.xml中设置属性,该属性将由配置中的代码调用:

<property>
    <name>mapreduce.job.reduces</name>
    <value>5</value>
</property>

重新启动hadoop进程

yi0zb3m4

yi0zb3m42#

我想出来了。原来是如此愚蠢,但仍然张贴的答案只是为了防止有人也做同样的愚蠢的错误。
似乎 job.setNumReduceTasks(3); 我的驱动程序类中的行优先于 -D mapreduce.job.reduces=10 在命令行中。
当我取下 job.setNumReduceTasks(3); 从我的代码行一切正常。

相关问题