我正在尝试安装:1)带Spark的群集。2) 带有hbase的群集。
第一次尝试使用引导spark安装add集群成功,但是,我使用了ssh错误的密钥,所以我必须使用新密钥重新安装。从那时起(从第二次尝试),我得到了相同的错误,每次尝试安装1和2以上。
我遵循以下指示:https://aws.amazon.com/articles/elasticmapreduce/4926593393724923
来自aws cli的命令:aws emr create cluster--name gcspark--ami version 3.2--instance type m3.xlarge--instance count 3--ec2 attributes keyname=keypair--applications name=hive--bootstrap actions path=s3://support.elasticmapreduce/spark/install-spark
stderr.txt输出:+python install spark script ba 14/10/31 22:00:45 info guice.emrfsbasemodule:一致性禁用,使用com.amazon.ws.emr.hadoop.fs.s3n.s3nativefilesystem作为文件系统实现。14/10/31 22:00:46 info fs.emrfilesystem:使用com.amazon.ws.emr.hadoop.fs.s3n.s3nativefilesystem作为文件系统实现14/10/31 22:00:47 info s3n.s3nativefilesystem:打开's3://support.elasticmapreduce/spark/1.1.0/scala-2.10.3.tgz'读取14/10/31 22:01:06 info guice.emrfsbasemule:一致性禁用,使用com.amazon.ws.emr.hadoop.fs.s3n.s3nativefilesystem作为文件系统实现。14/10/31 22:01:07 info fs.emrfilesystem:使用com.amazon.ws.emr.hadoop.fs.s3n.s3nativefilesystem作为文件系统实现14/10/31 22:01:08 info s3n.s3nativefilesystem:打开's3://support.elasticmapreduce/spark/1.1.0/spark-1.1.0.e.tgz'进行读取/bin/cp:cannot stat/usr/share/aws/emr/emr fs/lib/:无此类文件或目录回溯(最后一次调用):文件“install spark script”,第120行,在prepare\u classpath()文件“install spark script”,第52行,在prepare\u classpath subprocess.check\u call()文件“/usr/lib64/python2.6/subprocess.py”,第505行,在check\u call raise calledprocesserror(retcode,cmd)subprocess.calledprocesserror:命令“”返回非零退出状态1*
任何帮助都将不胜感激。
谢谢!
1条答案
按热度按时间yc0p9oo01#
安装错误在当时是一个临时问题,并用更高版本(1.1.0.f)修复。
更改和注解的自述文件位于https://github.com/awslabs/emr-bootstrap-actions/tree/master/spark.