如何使用Hadoop2.6启动SparkEC2集群

vdgimpew  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(324)

我正在尝试用hadoop2.6让sparkec2集群在spark1.6.1上运行
-以下是我的尝试:

./spark-ec2 -i ~/.ssh/***.pem \
--instance-profile-name***\
-k***\
--region=us-east-1 \
--instance-type=m3.xlarge \
-s 2 \
--copy-aws-credentials \
launch test-cluster

但是,它安装了hadoop1.0。因此,我在上面的命令中添加了以下选项:

--hadoop-major-version=2 \

然而,我很快意识到为了正确运行我的应用程序,我需要hadoop2.6。我可以通过--hadoop major verison=yarn,但这只会安装hadoop2.4。
谁能告诉我一个简单的方法吗?

fgw7neuy

fgw7neuy1#

现在,建议使用aws命令行界面(cli)。
请参阅:aws cli documentation for emr create cluster
但是,emr ami没有spark1.6.1和hadoop2.6的组合。最近的是 emr-4.7.1 它有spark 1.6.1和hadoop 2.7.2。
请参阅:aws emr发布,其中显示了此图:

相关问题