运行hadoop作业

kcugc4gi  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(382)

这是我第一次在hadoop上运行作业,从wordcount示例开始。要运行我的作业,请使用以下命令

hduser@ubuntu:/usr/local/hadoop$ bin/hadoop jar hadoop*examples*.jar wordcount /user/hduser/gutenberg /user/hduser/gutenberg-output

我认为我们应该在/usr/local/hadoop中复制jar文件。我的第一个问题是hadoop示例的含义是什么?如果我们想在另一个位置找到jar文件,例如/home/user/wordcountjar,我应该怎么做?提前谢谢你的帮助。

luaexgnf

luaexgnf1#

I think we should copy the jar file in /usr/local/hadoop

这不是强制性的。但是如果jar位于其他位置,则需要在运行作业时指定完整的路径。

My first question is that what is the meaning of hadoop*examples*?

hadoopexamples是包含mr作业和其他依赖项的jar包的名称。这里,表示它可以是任何版本。不是特别的0.19.2或者别的什么。但是,我觉得应该是hadoop示例-.jar而不是hadoopexamples.jar
如果我们想在另一个位置找到jar文件,例如/home/user/wordcountjar,我应该怎么做?
如果jar所在的目录不是执行命令的目录,则需要指定jar的完整路径。说,
bin/hadoop jar/home/user/wordcountjar/hadoop-*-examples.jar wordcount/user/hduser/gutenberg/user/hduser/gutenberg输出

at0kjp5o

at0kjp5o2#

这些示例只是通配符扩展,以说明文件名中的不同版本号。例如:hadoop-0.19.2-examples.jar
您可以使用jar的完整路径,如下所示:
bin/hadoop-jar/home/user/hadoop-0.19.2-examples.jar字数/user/hduser/gutenberg/user/hduser/gutenberg输出
编辑:周围的星号字的例子已从我的文章中删除时提交。

相关问题