我有一个cloudera集群，有3个工作节点、1个管理器和1个网关机器。我已使用密钥和访问密钥在群集中配置了aws凭据。但是我无法从我的网关机器对s3 bucket执行任何操作。创建表、数据库或查询会引发异常：错误：analysisexception:null原因：amazonclientexception:无法从链中的任何提供程序加载aws凭据我可以列出bucket或执行与awscli相关的操作。只有在 Impala 壳，它抛出这个错误。
643ylb081#
您需要在hdfs-site.xml中配置aws accesskey。您可以按照这篇cloudera文章中的步骤操作：https://www.cloudera.com/documentation/enterprise/5-7-x/topics/impala_s3.html您需要在hdfs站点/xml中添加以下属性：
<property> <name>fs.s3a.access.key</name> <value>your_access_key</value> </property> <property> <name>fs.s3a.secret.key</name> <value>your_secret_key</value> </property>
如果使用代理，还需要添加fs.s3a.proxy.host和fs.s3a.proxy.port属性。
50few1ms2#
集群上的每个impalad节点实际上都在做这项工作，因此每个节点都需要访问s3，而不仅仅是网关。
2条答案
按热度按时间643ylb081#
您需要在hdfs-site.xml中配置aws accesskey。您可以按照这篇cloudera文章中的步骤操作：https://www.cloudera.com/documentation/enterprise/5-7-x/topics/impala_s3.html
您需要在hdfs站点/xml中添加以下属性：
如果使用代理，还需要添加fs.s3a.proxy.host和fs.s3a.proxy.port属性。
50few1ms2#
集群上的每个impalad节点实际上都在做这项工作，因此每个节点都需要访问s3，而不仅仅是网关。