pandas 我试图在Python中打开一个zstd文件

8ljdwjyq  于 2023-09-29  发布在  Python
关注(0)|答案(1)|浏览(187)

我想在Python中打开一个zstd文件。我从https://the-eye.eu/redarcs/存档中下载了该文件。此存档提供Reddit帖子和评论。当我从这个网站下载数据,并在选择一个子reddit后用pandas打开它时,它成功打开。我用来打开数据的代码如下:

import zstandard
import pandas as pd

path = 'local_path/file_name.zst'
data = pd.read_table(path, compression='zstd', header=None)

然而,当我试图打开包含来自Reddit的所有批量数据的文件时,上面的代码不起作用。我使用torrent获得了这些批量数据文件(批量数据的torrent文件是从存档站点下载的)。我在尝试打开文件时遇到的错误如下:

ZstdError: zstd decompress error: Frame requires too much memory for decoding

即使文件非常小,也会发生此错误。
我的一个朋友建议说,这个问题可能是由于用于批量数据的zstd文件版本和我本地环境中用于打开文件的zstd版本之间的差异。我想知道这个问题的确切原因。

eyh26e7m

eyh26e7m1#

老实说,我从来没有管理过zstd文件,但最近我解决了一些类似的分块数据,而不是一次解压整个数据。
当然,块大小既不能太小也不能太大。

相关问题