在分布式模式下部署hadoop程序

qvtsj1bj 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(298)

目前，我正在使用eclipse开发hadoop演示。我已经使用hadoop独立模式运行并测试了它。
但现在我想将hadoop演示编译成jar文件，以完全分布式的方式部署它，比如wordcount示例。
有人能指导我怎么做吗？

1条答案

右键单击projectexplorer->export->generate runnable jar file上的任何文件
选择main方法的类（以前是driver类）。
将jar文件复制到集群的主节点。
然后，转到主节点上安装hadoop的路径并运行

bin/hadoop jar jarfile.jar /hdfs/input/path /hdfs/output/path

有关更多选项和详细信息，请阅读本教程（有关新的api/yarn）。
你必须先更新一些配置文件，比如 /etc/hosts ，在集群节点之间设置一个无密码ssh并更新一些 $HADOOP_HOME/conf/... 文件（至少在旧api中）。