加快Pandaspd.to

2wnc66cl  于 2022-11-20  发布在  其他
关注(0)|答案(1)|浏览(108)

我正在使用panda将Dataframe写入文件。

df.to_csv(filename, sep=",")

1.14 GB需要1分20秒
有什么办法可以提高性能吗?

v2g6jxz6

v2g6jxz61#

这可以显著减少写入时间。请尝试并反馈。

stage.to_csv('output.csv.gz'
     , sep='|'
     , header=True
     , index=False
     , chunksize=100000
     , compression='gzip'
     , encoding='utf-8')

相关问题