python-3.x 如何在AWS S3位置上将Pandas概况报告输出导入为html/json文件

fd3cxomn  于 2023-01-10  发布在  Python
关注(0)|答案(1)|浏览(104)

我有一个 Dataframe df,生成如下所示的ProfileReport:

profile = pandas_profiling.ProfileReport(
         df, title=f"file_name Data Profile Report",  minimal=True)

分析后,使用以下代码成功将输出写入ec2计算机中的本地文件系统:

profile.to_file('processedDataPath/file_name-profile.html')

现在,我想使用awswrangler.s3将配置文件输出写入s3存储桶,但无法找到适当的awswrangler.s3.to_xxx()以在s3位置写入.html文件,如下所示:

awswrangler.s3.to_xxx(profile, path='s3://analytics-storage-bucket/processedData/file_name-profile.html')

查找可将性能分析输出写入S3位置的适当python方法/代码。

tkclm6bt

tkclm6bt1#

生成配置文件报告为

profile = pandas_profiling.ProfileReport(
         df, title="Data Profile Report",  minimal=True)

要将.html文件写入S3,我们必须首先将此文件写入本地文件系统,然后将文件从本地文件系统上载到S3,最后从本地文件系统删除此文件,如下所示:

# write .html file to s3
profile.to_file('./file_name-profile.html')
awswrangler.s3.upload(local_file='./file_name-profile.html', path='s3://analytics-storage-bucket/processedData/file_name-profile.html')
os.remove('./file_name-profile.html')
###

此代码适用于ec2和aws胶水作业。

相关问题