d命令

20jt8wwn  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(343)

我正在尝试链接一些流作业(用python编写的作业)。我做到了,但我对-d命令有问题。这是密码,

public class OJs extends Configured implements Tool
{
public int run( String[] args) throws Exception
{
    //DOMINATION
    Path domin      = new Path( "diploma/join.txt");
    //dominationm.py
    Path domout     = new Path( "mapkeyout/");
    //dominationr.py

    String[] dom = new String[]
    {
        "-D mapred.reduce.tasks=0",
        "-file"     , "/home/hduser/optimizingJoins/dominationm.py" ,
        "-mapper"   , "dominationm.py"                              ,
        "-file"     , "/home/hduser/optimizingJoins/dominationr.py" ,
        "-reducer"  , "dominationr.py",         
        "-input"    , domin.toString()                              ,
        "-output"   , domout.toString()
    };
    JobConf domConf = new StreamJob().createJob( dom);
    //run domination job
    JobClient.runJob( domConf);
    return 0;
}//end run

public static void main( String[] args) throws Exception
{
    int res = ToolRunner.run( new Configuration(), new OJs(), args);
    System.exit( res);
}//end main
}//end OJs

我的问题是命令“-d mapred.reduce.tasks=0”。我得到这个错误,

ERROR streaming.StreamJob: Unrecognized option: -D...

在那里。。。包括任何可能的语法组合,即。

"-D mapred.reduce.tasks=0"
"-Dmapred.reduce.tasks=0"
"-D", "mapred.reduce.tasks=0"
"-D", "mapred.reduce.tasks=", "0"
" -D mapred.reduce.tasks=0"

等。
如果-d之前有空格,则忽略此命令。我没有我指定的减速机数量。当我没有这个空间时,我得到了我提到的错误。
我做错什么了?
编辑
用-jobconf替换-d选项并不能解决问题。这是整个错误输出,

Warning: $HADOOP_HOME is deprecated.

    12/10/04 00:25:02 ERROR streaming.StreamJob: Unrecognized option: -jobconf mapred.reduce.tasks=0
    Usage: $HADOOP_HOME/bin/hadoop jar \
          $HADOOP_HOME/hadoop-streaming.jar [options]

    Options:
   -input    <path>     DFS input file(s) for the Map step

   -output   <path>     DFS output directory for the Reduce step

   -mapper   <cmd|JavaClassName>      The streaming command to run

   -combiner <cmd|JavaClassName> The streaming command to run

   -reducer  <cmd|JavaClassName>      The streaming command to run

   -file     <file>     File/dir to be shipped in the Job jar file

   -inputformat TextInputFormat(default)|SequenceFileAsTextInputFormat|JavaClassName Optional.

   -outputformat TextOutputFormat(default)|JavaClassName  Optional.

   -partitioner JavaClassName  Optional.

   -numReduceTasks <num>  Optional.

   -inputreader <spec>  Optional.

   -cmdenv   <n>=<v>    Optional. Pass env.var to streaming commands

   -mapdebug <path>  Optional. To run this script when a map task fails 

   -reducedebug <path>  Optional. To run this script when a reduce task fails 

   -io <identifier>  Optional.

   -verbose

   Generic options supported are

   -conf <configuration file>     specify an application configuration file

   -D <property=value>            use value for given property

   -fs <local|namenode:port>      specify a namenode

   -jt <local|jobtracker:port>    specify a job tracker

   -files <comma separated list of files>    specify comma separated files to be copied to the map reduce cluster

   -libjars <comma separated list of jars>    specify comma separated jar files to include in the classpath.

   -archives <comma separated list of archives>    specify comma separated archives to be unarchived on the compute machines.

   The general command line syntax is
   bin/hadoop command [genericOptions] [commandOptions]

   For more details about these options:

   Use $HADOOP_HOME/bin/hadoop jar build/hadoop-streaming.jar -info

   Exception in thread "main" java.lang.IllegalArgumentException: 
    at org.apache.hadoop.streaming.StreamJob.fail(StreamJob.java:549)
    at org.apache.hadoop.streaming.StreamJob.exitUsage(StreamJob.java:486)
    at org.apache.hadoop.streaming.StreamJob.parseArgv(StreamJob.java:246)
    at org.apache.hadoop.streaming.StreamJob.createJob(StreamJob.java:143)
    at OJs.run(OJs.java:135)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
    at OJs.main(OJs.java:183)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:601)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:156)

此外,我不明白,为什么当我直接使用流式处理运行作业时,流式处理会识别-d选项,而当我通过jobclient使用流式处理运行作业时,-d选项识别会失败。是流媒体问题还是sun.reflect问题?ubuntu中的sun.reflect包在哪里?

r8uurelv

r8uurelv1#

首先,这条线

..."-D mapred.reduce.tasks=0"...

应写为

..."-D", "mapred.reduce.tasks=0"...

这是命令的标准模式,

"-commandname", "value"

要继续,程序通常可以接受或不接受某些参数。hadoop上下文中的这些参数称为options。它们有两种,通用的和流式的,作业特定的。泛型选项由genericoptionsparser处理。hadoop流式处理上下文中特定于作业的选项是从streamjob处理的。
所以,在初始问题的代码中设置的方式-d选项是错误的。这是因为-d是一个通用选项。streamjob无法处理泛型选项。但是streamjob可以处理-jobconf,这是一个特定于作业的选项。所以这条线

..."-D", "mapred.reduce.tasks=0"...

写得正确吗

..."-jobconf", "mapred.reduce.tasks=0"...

使用-jobconf会引发此警告,

WARN streaming.StreamJob: -jobconf option is deprecated, please use -D instead.

为了避免这个警告,需要-d选项,因此需要一个genericoptionsparser来解析-d选项。
继续,当某人使用命令运行流作业时

bin/hadoop jar /usr/local/hadoop/contrib/streaming/hadoop-streaming-*.jar [ generic options] [ streaming( job specific) options]

到底发生了什么?为什么在这种情况下没有问题?在这种情况下,通用选项和作业特定选项都被正确解析。这是可能的,因为工具接口通过genericoptionsparser处理泛型选项。特定于作业的选项是从hadoop streaming-.jar中的streamjob()处理的。
实际上hadoopstreaming-
.jar有一个文件“hadoopstreaming.java”,负责以上述方式提交的作业。hadoopstreaming类使用两个参数调用toolrunner.run()。第一个参数是一个新的streamjob对象,第二个参数包含所有命令行选项,即[generic options]和[streaming(作业特定)选项]。GenericOptions解析器通过仅解析泛型选项来将泛型选项与作业特定选项分离。然后,GenericOptions解析器返回其余的选项,即从streamjob()解析的特定于作业的选项。streamjob是通过tool.run([job specific args])调用的,其中tool=streamjob。看到这个和这个有一个直觉为什么工具=streamjob。
总之,
GenericOptions语法分析器->通用选项,
streamjob->流式处理(作业特定)选项。

vwkv1x7d

vwkv1x7d2#

看起来streamjob不支持 -Dkey=value 通用配置选项。
看到了吗http://wiki.apache.org/hadoop/hadoopstreaming,但看起来您需要使用(并在该页上作为示例显式调用):

-jobconf mapred.reduce.tasks=0

相关问题