DataFrame pandas转换为Delta格式,无Spark

kse8i1jr  于 2023-04-04  发布在  Spark
关注(0)|答案(1)|浏览(136)

我在pandas中有一个dataframe,我需要在不使用spark的情况下将其转换为delta格式。
我搜索了很多关于这一点,但我没有找到任何解决方案,不使用Spark。

import pandas as pd

df = pd.DataFrame({"x": [1, 2, 3],"y": [3, 2, 1]})
w8f9ii69

w8f9ii691#

delta-rs库没有spark依赖。您可以通过以下方式将pandas DataFrame保存为Delta Table:

import pandas as pd
from deltalake.writer import write_deltalake

df = pd.DataFrame({"x": [1, 2, 3],"y": [3, 2, 1]})
write_deltalake('/path/to/save/delta/table', df)

要安装delta-rs库,可以使用pip:

$ pip install deltalake

或者你可以使用conda:

$ conda install -c conda-forge delta-spark

相关问题