在amazon emr上运行mrjob,不支持t2.micro

fcipmucu  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(387)

我试着在amazon emr上运行mrjob脚本。当我使用示例c1.medium时,它运行得很好,但是当我将instance更改为t2.micro时,它有一个错误。下面显示了完整的错误消息。
c:\users\administrator\myipython>python word\u count.py-r emr 111.txt使用c:\users\administrator.mrjob.conf中的配置创建新的暂存桶mrjob-875a948553aab9e8,使用s3://mrjob-875a948553aab9e8/tmp/作为s3上的暂存目录创建tmp目录c:\users\admini~1\appdata\local\temp\word\u count.administrator.20150731.013007.592000正在将主引导脚本写入c:\users\admini~1\appdata\local\temp\word\u cou nt.administrator.20150731.013007.592000\b.py
请注意:从mrjob v0.5.0开始,协议在默认情况下是严格的。建议您使用--严格的协议运行作业,或者按照中的描述设置mrjob.confhttps://pythonhosted.org/mrjob/whats-new.html#ready-对于严格的protoc ols
创建s3 bucket“mrjob-875a948553aab9e8”以用作暂存空间将非输入文件复制到s3://mrjob-875a948553aab9e8/tmp/word\u count.administrator.20150731.013007.592000/files/等待5.0s以获得s3最终一致性创建弹性mapreduce作业流回溯(最后一次调用):文件“word\u count.py”,第16行,在mrwordfrequencycount.run()文件“f:\program files\anaconda\lib\site packages\mrjob\job.py”的第461行,在run mr\u job.execute()文件“f:\program files\anaconda\lib\site packages\mrjob\job.py”的第479行,在execute super(mrjob,self)的第153行,执行()文件“f:\program files\anaconda\lib\site packages\mrjob\launch,在execute self.run中的第216行“f:\program files\anaconda\lib\site packages\mrjob\launch.py”文件,在run self中的第470行“f:\program files\anaconda\lib\site packages\mrjob\runner.py”文件,在run self中的第881行“f:\program files\anaconda\lib\site packages\mrjob\emr.py”文件,在第886行的“f:\program files\anaconda\lib\site packages\mrjob\emr.py”文件中,在第1327行的“f:\program files\anaconda\lib\site packages\mrjob\emr.py”文件“f:\program files\anaconda\lib\site packages\mrjob persistent=false”文件“f:\program files\anaconda\lib\site packages\mrjob\emr.py”文件中,在第149行的“\u create\u job\u flow self.\u job\u name,self.\u opts['s3\u log\u uri'],**args)file“f:\program files\anaconda\lib\site packages\mrjob\retry.py”,in call\u and\u maybe\u retry return f(*args,**kwargs)file“f:\program files\anaconda\lib\site packages\mrjob\retry.py”,in call\u maybe\u retry result=getattr(可选,name)(*args,**kwargs)文件“f:\program files\anaconda\lib\site packages\boto\emr\connection.py”,lin e 581,在run\u jobflow'runjobflow',params,runjobflowresponse,verb='post')文件“f:\program files\anaconda\lib\site packages\boto\connection.py”,第12 08行,在get\u object raise self.responseerror(response.status,response.reason,body)boto.exception.emrresponseerror:emrresponseerror:400错误请求
发件人 ValidationError 示例类型“t2.micro”不受支持c3ee1107-3723-11e5-8d8e-f1011298229d
这是我的配置文件详细信息

runners:
  emr:
    aws_access_key_id: xxxxxxxxxxx
    aws_secret_access_key: xxxxxxxxxxxxx
    aws_region: us-east-1
    ec2_key_pair: EMR
    ec2_key_pair_file: C:\Users\Administrator\EMR.pem
    ssh_tunnel_to_job_tracker: false
    ec2_instance_type: t2.micro
    num_ec2_instances: 2
wnvonmuf

wnvonmuf1#

emr不支持 t2 示例类型。如果你担心钱的问题,那么现场示例是一个非常划算的选择:现在 m1.xlarge 低于每小时0.05美元,以及 m1.medium 每小时0.01美元(比 t2.micro 无论如何)支持的类型如下(来自emr webapp控制台的屏幕截图:

相关问题