我很难将emr与s3集成，即实现emrfs
emr版本：emr-5.4.0
当我跑的时候 hdfs dfs -ls s3://pathto/bucket/ 我得到以下错误
ls:com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.model.amazon3exception:拒绝访问（服务：amazon s3；状态代码：403；错误代码：accessdenied；请求id:x），s3扩展请求id:xx**
请指点一下那是什么，我遗漏了什么？
我已经完成了以下步骤
已为emr创建kms密钥
在新创建的kms密钥中添加了emr\u ec2\u defaultrole作为密钥用户
为emr创建了s3服务器端加密安全配置策略
为角色/emr\u ec2\u defaultrole和emr\u defaultrole为s3 bucket访问创建了新的内联策略
使用新的emr安全策略和以下配置分类手动创建了emr群集
"fs.s3.enableServerSideEncryption": "true",
"fs.s3.serverSideEncryption.kms.keyId":"KEYID"
1条答案
按热度按时间2j4z5cfb1#
默认情况下，emr将使用示例配置文件凭据（emr\u ec2\u defaultrole）访问s3存储桶。此错误表示此角色没有访问s3存储桶所需的权限。
您需要验证该角色的iam角色策略，以允许对bucket和对象执行必要的s3操作（如s3:list*）。同时检查是否有任何明确的拒绝等。http://docs.aws.amazon.com/amazons3/latest/dev/using-with-s3-actions.html
由于您尝试访问的s3 bucket上设置了bucket策略，访问也可能被拒绝。http://docs.aws.amazon.com/amazons3/latest/dev/example-bucket-policies.htmlhttps网址：aws.amazon.com/blogs/security/iam-policies-and-bucket-policies-and-acls-oh-my-controlling-access-to-s3-resources/
您的emr集群可能使用vpc端点来访问s3，而不是internet/nat。在这种情况下，您还需要验证vpc端点策略。https://docs.aws.amazon.com/vpc/latest/userguide/vpc-endpoints-s3.html#vpc-端点-策略-s3