使用run对话框(f11)在eclipse中的远程集群上启动hadoop map reduce作业

j5fpnvbx  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(274)

是否可以使用eclipse运行对话框(f11)在远程集群上启动map reduce作业?
目前,我必须运行它与外部工具链对话框和maven。
注意:在本地集群上执行它与run对话框没有什么关系。但是对于远程连接,必须有一个编译过的jar。否则你会得到一个 ClassNotFoundException (如果 Jar-By-Class (已设置)
我们目前的设置是:
spring数据hadoop 1.0.0
sts-springsource工具套件
Maven
氯化镉
这是我们的 applicationContext.xml (这是您在vanilla hadoop上的*-site.xml中指定的内容)

<hdp:configuration id="hadoopConfiguration">
    fs.defaultFS=hdfs://carolin.ixcloud.net:8020
    mapred.job.tracker=michaela.ixcloud.net:8021
</hdp:configuration>

有没有一种方法可以告诉eclipse在执行run对话框时应该构建一个jar。

zmeyuzjn

zmeyuzjn1#

我不知道它是否构建了一个新的jar(可能是您必须将jar提取到一个文件夹中),添加“run configurations->classpath”您的jar清除了问题“classnotfoundexception”。

相关问题