我们在ec2上运行hadoop集群，ec2示例连接到一个可以访问s3 bucket的角色，例如：“stackoverflow example”。
有几个用户正在集群中放置spark作业，我们过去使用过密钥，但不想继续，希望迁移到role，因此放置在hadoop集群上的任何作业都将使用与ec2示例关联的role。做了大量的搜索，发现10+票，其中一些仍然开放，其中一些是固定的，其中一些没有任何评论。
想知道是否仍然可以将iam角色用于放置在hadoop集群上的作业（spark、hive、hdfs、oozie等）。大多数教程都在讨论传递密钥（fs.s3a.access.key、fs.s3a.secret.key），这些密钥不够好，也不安全。我们还面临与ambari的凭证提供者的问题。
一些参考资料：
https://issues.apache.org/jira/browse/hadoop-13277
https://issues.apache.org/jira/browse/hadoop-9384
https://issues.apache.org/jira/browse/spark-16363
1条答案
按热度按时间7kjnsjlb1#
你链接到hadoop-13277的第一个链接是“我们可以拥有iam吗？”jira关闭了这个链接“你在s3a中拥有这个”。第二个是hadoop-9384，是“addiam to s3n”，关闭为“switch to s3a”。还有spark-16363？不完整的错误报告。
如果您使用s3a，并且没有设置任何机密，那么s3a客户机将返回到查看特殊ec2示例元数据http服务器，并尝试从那里获取机密。
它：它应该只是工作。