hive在s3上创建表

btxsgosb  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(548)

我在hadoop集群上运行了配置单元服务。我试图在eucalyptus(riak cs)s3数据上创建一个配置单元表。我已经在core-site.xml和hive-site.xml中配置了accesskeyid和secretaccesskey。当我执行create table命令并使用s3n schema指定s3位置时,出现以下错误:
失败:执行错误,从org.apache.hadoop.hive.ql.exec.ddltask返回代码1。元异常(message:org.apache.http.conn.connecttimeoutexception:连接到my-bucket.s3.amazonaws。com:443 timed 输出)
如果我尝试使用s3a模式,会出现以下错误:
失败:amazonclientexception无法从链中的任何提供程序加载aws凭据
我可以使用jets3t更改distcp命令的端点url,但对于hive来说,这一点不起作用。任何建议指出Hive桉树s3端点欢迎。

irlmq6kh

irlmq6kh1#

我不熟悉hive,但只要我听说它使用mapreduce作为后端处理系统。mapreduce使用jets3t作为s3连接器—在mapreduce和spark中更改其配置对我都有效。希望这有助于:http://qiita.com/kuenishi/items/71b3cda9bbd1a0bc4f9e
配置如
s3service.https only=错误
s3service.s3 endpoint=yourdomain.com
s3service.s3端点http端口=8080
s3service.s3端点https端口=8080
对你有用吗?

waxmsbnn

waxmsbnn2#

我已经升级到hdp2.3(hadoop2.7),现在我可以为hive-to-s3访问配置s3a模式。

相关问题