我正在关注hadoop的实际情况,以开始使用hadoop和ec2。我在ubuntu上运行,已经下载并安装了最新版本的hadoop。我在这里碰到了一个路障:
hadoop-ec2 launch-cluster mycluster 2
书中说“hadoop ec2工具位于hadoop安装下的src/contrib/ec2/bin目录中。回想一下,我们的ec2-init.sh脚本已经将该目录添加到您的系统路径中。在这个目录中是hadoop-ec2,它是执行其他命令的元命令。要在ec2上启动hadoop群集,请使用:
hadoop-ec2启动群集”
我得到的答复是: hadoop-ec2: command not found
我注意到变量 $HADOOP_HOME
未设置。
看来这本书过时了。
有人能告诉我一个关于如何用ec2设置hadoop的教程吗?
在快速搜索之后,似乎 HADOOP_HOME
已弃用。这是真的吗?
我可以毫无问题地执行 ec2-describe-images
. 得到我能用的所有可用图像。为什么不呢 hadoop-ec2
指挥工作?
谢谢你的指导。
1条答案
按热度按时间mlmc2os51#
不幸的是,在amazonec2上运行hadoop的专用页面(这不利于
HADOOP_HOME
事实上)本身已经相当过时,似乎不再适用于最新的稳定版本(在撰写本文时为1.0.4)。我不知道是否有更新的“本机”教程,但显然用户对通过apachewhirr的方法非常满意(顺便说一句,它是在2007年作为apachehadoop中的一些bash脚本开始的,用于在ec2上运行hadoop集群)。因此,有一个开始与呼噜™ 此外,还有相关的第三方教程,例如:
使用whirr在ec2上部署hadoop
操作方法:大约一小时内在ec2上安装apachehadoop/apachehbase集群
我希望您能够将书中关于使用ApacheHadoop的信息与这些关于通过ApacheWhirr运行hadoop集群的信息合并在一起-祝您好运!