目前,我正在使用eclipse开发hadoop演示。我已经使用hadoop独立模式运行并测试了它。但现在我想将hadoop演示编译成jar文件,以完全分布式的方式部署它,比如wordcount示例。有人能指导我怎么做吗?
rdlzhqv91#
右键单击projectexplorer->export->generate runnable jar file上的任何文件选择main方法的类(以前是driver类)。将jar文件复制到集群的主节点。然后,转到主节点上安装hadoop的路径并运行
bin/hadoop jar jarfile.jar /hdfs/input/path /hdfs/output/path
有关更多选项和详细信息,请阅读本教程(有关新的api/yarn)。你必须先更新一些配置文件,比如 /etc/hosts ,在集群节点之间设置一个无密码ssh并更新一些 $HADOOP_HOME/conf/... 文件(至少在旧api中)。
/etc/hosts
$HADOOP_HOME/conf/...
1条答案
按热度按时间rdlzhqv91#
右键单击projectexplorer->export->generate runnable jar file上的任何文件
选择main方法的类(以前是driver类)。
将jar文件复制到集群的主节点。
然后,转到主节点上安装hadoop的路径并运行
有关更多选项和详细信息,请阅读本教程(有关新的api/yarn)。
你必须先更新一些配置文件,比如
/etc/hosts
,在集群节点之间设置一个无密码ssh并更新一些$HADOOP_HOME/conf/...
文件(至少在旧api中)。