我正在尝试将一个包含CSV文件的大文件夹转换为parquet。数据集太大,内存无法容纳,所以我使用箭头。
对于某些列,有些文件只有整数,而其他文件有decimal/float/double。我希望它在发生这种情况时将int 64转换为double。但它却抛出了一个关于int和double“不兼容”的错误。即使我指定unify_schemas = TRUE
,我仍然得到错误。
我相信arrow只是查看每个文件的前N
行来猜测文件类型。我的真实的数据集有一个前500,000行为整数的列,然后出现一个浮点数。所以arrow只能看到整数。是否有一个选项可以强制arrow在推断类型之前读取 * 所有 * 行?
目前我使用R,但我会接受Python的解决方案。
复制步骤
data/01.csv
a,b
1,1
2,2
字符串data/02.csv
a,b
11,1.1
22,2.2
型main.R
个
library(tidyverse)
library(arrow)
csvs <- open_dataset(
sources = "data/",
format = "csv",
unify_schemas = TRUE,
)
csvs |> glimpse()
型
预期行为
两个文件成功读入一个嵌套框架。列b
被视为double。文件01.csv
中列b
的值被隐式转换为double
实际行为
open_dataset()
中的错误:!无效:无法合并:字段b具有不兼容的类型:double vs int 64
我所尝试的
我尝试编写一个python脚本来将CSV文件合并为一个,然后只读入一个文件。(open_dataset
还不能处理一个文件,只能处理一个文件的文件夹。)我仍然得到一个错误。
我有数百个数据集要这样做。所以我更喜欢一个解决方案,其中我不必显式枚举所有应该像这样转换的列。特别是,open_dataset()
的schema
参数需要所有列或没有列。我似乎不能只传递一个。(或者有办法做到这一点吗?)
我的下一步是写一个脚本来读取整个数据集作为文本,并搜索每个单元格值的小数。然后重新读取整个数据集,并将.0
附加到某些值上。然后我可以(希望)用open_dataset()
读取它。我想知道是否有更简单的方法。
2条答案
按热度按时间kyxcudwk1#
虽然
schema
只接受完整模式或不接受模式,但col_types
允许部分模式:字符串
通过查看文档,我不得不说,在查看
open_dataset
时,这并不明显,因为它只在更专门的 Package 器函数中有记录(即使在那里,for partial schema也不清楚):https://arrow.apache.org/docs/r/reference/open_delim_dataset.html我已经打开了一个issue来改进文档。
vwkv1x7d2#
不幸的是,我认为唯一的出路是指定
schema=
,因为它总是推断数据在指定时没有标题行,所以我们必须指定所有列。但是,我们可以尝试动态地创建
schema=
对象。字符串
我们可以直接使用:
型
注意,我必须添加
skip=1
,因为通过提供schemas=
,arrow包假定没有标题行。当然,
some_types
中的类比我提供的要多,而且我还没有详尽地测试我的层次结构是否真的能处理所有不同的类型。如果你想安全起见,也许只需要手动调整“length > 1”字段。