python 在pyspark中阅读. parquet.gz、gzip格式的 parquet 文件

jaxagkaj 于 2023-02-21 发布在 Python

关注(0)|答案(1)|浏览(220)

你好，我正在尝试读取 parquet 文件已压缩并保存为sample.parquet.gz文件在Spark，如果有人能告诉我如何做到这一点？
PS-我知道我可以很容易地阅读gz.parquet文件在Spark，但我想读一个parquet这是压缩使用gzip

来源：https://stackoverflow.com/questions/64394207/reading-a-parquet-gz-gzipped-parquet-file-in-pyspark

1条答案

按热度按时间

df =Spark.读取.Parquet（“/mnt/数据湖/xxxxxx/Xxxxxx/打包文件/zip文件名. gz”）

我喜欢这个。试试这个？

赞(0）回复(0）举报 2023-02-21

相关问题

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 4个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 4个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 4个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 4个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 4个月前