pyspark 如何保存html文件从azure synapse notebook到datalake存储?

bttbmeg0  于 2023-11-16  发布在  Spark
关注(0)|答案(1)|浏览(97)

在Azure Synapse和Pyspark中,我正在使用ProfileReport(https://github.com/ydataai/ydata-profiling)进行数据分析:

report = ProfileReport(dataframe
                title="Profiling_pyspark_DataFrame",
                infer_dtypes=False,
                interactions=None,
                missing_diagrams=None,
                correlations={"auto": {"calculate": False},
                              "pearson": {"calculate": False},
                              "spearman": {"calculate": False}})

字符串
当我在一个notebook单元格上调用report变量时,我看到了我想在ADLS上保存的HTML内容。
现在我尝试保存HTML在datalake与:

report.to_file("abfss://[email protected]/profile.html")


但我有一个错误:

FileNotFoundError: [Errno 2] No such file or directory: 'abfss:/[email protected]/profile.html'


我错在哪里?(我有一个突触和ADLS之间的链接服务)。

ncecgwcz

ncecgwcz1#

是的,你说得对。我只是把它加进去,用一些其他的方法来回答,这样对社区就有帮助了。

mssparkutils.fs.put("abfss://[email protected]/synapse/report.html", profile.to_html(), True)

字符串
输出量:


的数据
另一种方法是将其保存在Synapse中,然后复制或移动到ADLS存储中。

profile.to_file("/tmp/report2.html")
mssparkutils.fs.cp("file:/tmp/report2.html", "abfss://d[email protected]/synapse/report2.html")


mssparkutils.fs.mv("file:/tmp/report2.html", "abfss://d[email protected]/synapse/report3.html")


输出量:



在Synapse中访问本地文件系统时,需要将路径前缀为file:/

相关问题