使用pyspark读取.c000分区Parquet文件

vulvrdjw  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(406)

这是我第一次使用pyspark,我想把一些Parquet文件转换成csv,下面是我的代码

spark= SparkSession.builder.master("local").enbaleHiveSupport().getOrCreate()

df=spark.read.parquet("path_to_my_folder")

df.write.csv("target_path")

但此代码只能读取包含.parquet文件的文件夹,而不能读取.c000文件
错误是无法读取文件的页脚。。。
我不知道我是否使用了正确的功能或设置,谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题