我正在尝试链接一些流作业(用python编写的作业)。我做到了,但我对-d命令有问题。这是密码,
public class OJs extends Configured implements Tool
{
public int run( String[] args) throws Exception
{
//DOMINATION
Path domin = new Path( "diploma/join.txt");
//dominationm.py
Path domout = new Path( "mapkeyout/");
//dominationr.py
String[] dom = new String[]
{
"-D mapred.reduce.tasks=0",
"-file" , "/home/hduser/optimizingJoins/dominationm.py" ,
"-mapper" , "dominationm.py" ,
"-file" , "/home/hduser/optimizingJoins/dominationr.py" ,
"-reducer" , "dominationr.py",
"-input" , domin.toString() ,
"-output" , domout.toString()
};
JobConf domConf = new StreamJob().createJob( dom);
//run domination job
JobClient.runJob( domConf);
return 0;
}//end run
public static void main( String[] args) throws Exception
{
int res = ToolRunner.run( new Configuration(), new OJs(), args);
System.exit( res);
}//end main
}//end OJs
我的问题是命令“-d mapred.reduce.tasks=0”。我得到这个错误,
ERROR streaming.StreamJob: Unrecognized option: -D...
在那里。。。包括任何可能的语法组合,即。
"-D mapred.reduce.tasks=0"
"-Dmapred.reduce.tasks=0"
"-D", "mapred.reduce.tasks=0"
"-D", "mapred.reduce.tasks=", "0"
" -D mapred.reduce.tasks=0"
等。
如果-d之前有空格,则忽略此命令。我没有我指定的减速机数量。当我没有这个空间时,我得到了我提到的错误。
我做错什么了?
编辑
用-jobconf替换-d选项并不能解决问题。这是整个错误输出,
Warning: $HADOOP_HOME is deprecated.
12/10/04 00:25:02 ERROR streaming.StreamJob: Unrecognized option: -jobconf mapred.reduce.tasks=0
Usage: $HADOOP_HOME/bin/hadoop jar \
$HADOOP_HOME/hadoop-streaming.jar [options]
Options:
-input <path> DFS input file(s) for the Map step
-output <path> DFS output directory for the Reduce step
-mapper <cmd|JavaClassName> The streaming command to run
-combiner <cmd|JavaClassName> The streaming command to run
-reducer <cmd|JavaClassName> The streaming command to run
-file <file> File/dir to be shipped in the Job jar file
-inputformat TextInputFormat(default)|SequenceFileAsTextInputFormat|JavaClassName Optional.
-outputformat TextOutputFormat(default)|JavaClassName Optional.
-partitioner JavaClassName Optional.
-numReduceTasks <num> Optional.
-inputreader <spec> Optional.
-cmdenv <n>=<v> Optional. Pass env.var to streaming commands
-mapdebug <path> Optional. To run this script when a map task fails
-reducedebug <path> Optional. To run this script when a reduce task fails
-io <identifier> Optional.
-verbose
Generic options supported are
-conf <configuration file> specify an application configuration file
-D <property=value> use value for given property
-fs <local|namenode:port> specify a namenode
-jt <local|jobtracker:port> specify a job tracker
-files <comma separated list of files> specify comma separated files to be copied to the map reduce cluster
-libjars <comma separated list of jars> specify comma separated jar files to include in the classpath.
-archives <comma separated list of archives> specify comma separated archives to be unarchived on the compute machines.
The general command line syntax is
bin/hadoop command [genericOptions] [commandOptions]
For more details about these options:
Use $HADOOP_HOME/bin/hadoop jar build/hadoop-streaming.jar -info
Exception in thread "main" java.lang.IllegalArgumentException:
at org.apache.hadoop.streaming.StreamJob.fail(StreamJob.java:549)
at org.apache.hadoop.streaming.StreamJob.exitUsage(StreamJob.java:486)
at org.apache.hadoop.streaming.StreamJob.parseArgv(StreamJob.java:246)
at org.apache.hadoop.streaming.StreamJob.createJob(StreamJob.java:143)
at OJs.run(OJs.java:135)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at OJs.main(OJs.java:183)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:601)
at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
此外,我不明白,为什么当我直接使用流式处理运行作业时,流式处理会识别-d选项,而当我通过jobclient使用流式处理运行作业时,-d选项识别会失败。是流媒体问题还是sun.reflect问题?ubuntu中的sun.reflect包在哪里?
2条答案
按热度按时间r8uurelv1#
首先,这条线
应写为
这是命令的标准模式,
要继续,程序通常可以接受或不接受某些参数。hadoop上下文中的这些参数称为options。它们有两种,通用的和流式的,作业特定的。泛型选项由genericoptionsparser处理。hadoop流式处理上下文中特定于作业的选项是从streamjob处理的。
所以,在初始问题的代码中设置的方式-d选项是错误的。这是因为-d是一个通用选项。streamjob无法处理泛型选项。但是streamjob可以处理-jobconf,这是一个特定于作业的选项。所以这条线
写得正确吗
使用-jobconf会引发此警告,
为了避免这个警告,需要-d选项,因此需要一个genericoptionsparser来解析-d选项。
继续,当某人使用命令运行流作业时
到底发生了什么?为什么在这种情况下没有问题?在这种情况下,通用选项和作业特定选项都被正确解析。这是可能的,因为工具接口通过genericoptionsparser处理泛型选项。特定于作业的选项是从hadoop streaming-.jar中的streamjob()处理的。
实际上hadoopstreaming-.jar有一个文件“hadoopstreaming.java”,负责以上述方式提交的作业。hadoopstreaming类使用两个参数调用toolrunner.run()。第一个参数是一个新的streamjob对象,第二个参数包含所有命令行选项,即[generic options]和[streaming(作业特定)选项]。GenericOptions解析器通过仅解析泛型选项来将泛型选项与作业特定选项分离。然后,GenericOptions解析器返回其余的选项,即从streamjob()解析的特定于作业的选项。streamjob是通过tool.run([job specific args])调用的,其中tool=streamjob。看到这个和这个有一个直觉为什么工具=streamjob。
总之,
GenericOptions语法分析器->通用选项,
streamjob->流式处理(作业特定)选项。
vwkv1x7d2#
看起来streamjob不支持
-Dkey=value
通用配置选项。看到了吗http://wiki.apache.org/hadoop/hadoopstreaming,但看起来您需要使用(并在该页上作为示例显式调用):