我正在尝试使用apache parquet reader获取并读取s3上的Parquet文件，我的代码如下所示：
ParquetReader<GenericData.Record> reader = null;
Path internalPath = new Path("s3://S3AccessID:S3SecretKey@bucketName/tmp0.parquet");
try {
InputFile inputFile = HadoopInputFile.fromPath(internalPath, new Configuration());
reader = AvroParquetReader.<GenericData.Record>builder(inputFile).build();
GenericData.Record record;
while ((record = reader.read()) != null) {
System.out.println(record);
}
}但是，当我构建并运行程序时，这是错误屏幕：
at org.apache.hadoop.fs.s3.Jets3tFileSystemStore.get(Jets3tFileSystemStore.java:156)
at org.apache.hadoop.fs.s3.Jets3tFileSystemStore.retrieveINode(Jets3tFileSystemStore.java:195)
at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.base/java.lang.reflect.Method.invoke(Method.java:567)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:85)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:62)
at com.sun.proxy.$Proxy12.retrieveINode(Unknown Source)
at org.apache.hadoop.fs.s3.S3FileSystem.getFileStatus(S3FileSystem.java:332)
at org.apache.parquet.hadoop.util.HadoopInputFile.fromPath(HadoopInputFile.java:39)
at read.read.readParquetFile(read.java:153)
at read.read.main(read.java:80)
Caused by: org.jets3t.service.S3ServiceException: S3 GET failed for '/%2Ftmp0.parquet' XML Error Message: <?xml version="1.0" encoding="UTF-8"?><Error><Code>InvalidRequest</Code><Message>The authorization mechanism you have provided is not supported. Please use AWS4-HMAC-SHA256.</Message><RequestId>1A66095653EBAD50</RequestId><HostId>jNzbaMmKmszHiLvzA4NsqILRxF+qJFxJLTWvKVwqHoggB0MnYy1ESoajHaa/Ufs5RE8ghs31Jaw=</HostId>有人知道怎么解决这个问题吗？
1条答案
按热度按时间cig3rfwq1#
从错误消息中，您的s3 bucket区域似乎使用签名版本4（v4）签名协议，并且不支持旧版本（v2）。
不支持您提供的授权机制。请使用aws4-hmac-sha256。
在这种情况下，必须设置属性
fs.s3a.endpoint要么在core-site.xml或者在作业配置中。这个属性的值可以在这里的amazons3端点下找到。另外，
使用hadoop的
s3a客户端而不是s3.使用这些属性，而不是将access\u key和secret\u access\u key嵌入到s3aurl中
fs.s3a.access.key以及fs.s3a.secret.key. 可以在这里找到可用于s3身份验证的整个属性列表。