sagemaker,从s3上的数据图像url获取sparkDataframe

2q5ifsrm  于 2021-05-26  发布在  Spark
关注(0)|答案(0)|浏览(251)

我正在尝试获取一个sparkdataframe,其中包含数据中所有图像的路径和图像。数据存储如下:folder/image\u category/image\u n.jpg
我在本地的jupyter笔记本上工作,使用以下代码没有问题: dataframe = spark.read.format("image").load(path) 我需要用aws和s3做同样的练习。我按照相同的模式创建了一个bucket:s3://my\u bucket/folder/image\u category/image\u n.jpg
我已经尝试了很多我在网上找到的可能的解决方案,基于boto3,s3fs和其他东西,但不幸的是,我仍然无法使它工作(我开始失去信心…)。
有谁能给我可靠的工作依据吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题