如何通过s3访问点在spark中读写数据

wgx48brx  于 2021-07-09  发布在  Spark
关注(0)|答案(1)|浏览(225)

我正在尝试使用s3访问点将数据存储在s3存储桶中。我试着像直接使用水桶一样保存:

someDF.write.format("csv").option("header","true").mode("Overwrite")
    .save("arn:aws:s3:us-east-1:000000000000:accesspoint/access-point/prefix/")

这将返回错误

IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: "arn:aws:s3:us-east-1:000000000000:accesspoint/access-point/prefix/"

我还没有找到任何关于如何做到这一点的文件。是否不支持访问点?有没有办法将访问点设置为自定义数据源?
谢谢您

b0zn9rqh

b0zn9rqh1#

问题是您提供的是arn而不是s3url。url应该是这样的(假设 accesspoint 是bucket名称):

s3://accesspoint/access-point/prefix/

如果您在右上角的对象或前缀中,aws控制台中会有一个按钮 Copy S3 URL

相关问题