aws示例distcp到s3-访问密钥

iqxoj9l9  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(408)

如果我用一个角色创建了一个ec2示例,那么获取访问密钥的最佳实践方法是什么,以便从hdfs到s3执行distcp?
我不想使用我们的自动部署工具向示例发送访问密钥,因为这意味着要将密钥存储在显眼的地方。示例是否有方法使用cli请求一组密钥?
我得把它们留着吃 hadoop distcp /data s3n://<access_key>:<secret_key>@mybucket/baackup/data

pgky5nke

pgky5nke1#

当使用角色启动amazonec2示例时,该示例就可以通过示例元数据服务访问临时安全密钥。其工作原理如下:
在身份和访问管理(iam)中创建角色
已向角色授予适当的权限
一个amazonec2示例在选中该角色的情况下启动。如果您使用amazonelasticmapreduce(emr)来启动示例,那么通常会为它们分配一个特定于emr的角色(您可以修改该角色)
一组临时安全凭据通过url提供给示例 http://169.254.169.254/latest/meta-data/iam/security-credentials/ 调用awsdk的软件知道自动查看这个url来检索安全凭证。如果您使用的软件没有自动查看此url,您可以提取它们并将其传递给软件。
请参阅:从示例元数据检索安全凭据

相关问题