对于这种大小的文件，SQLite for Python会有帮助吗？

wdebmtf2 于 2022-11-15 发布在 SQLite

关注(0)|答案(1)|浏览(119)

我有一个大约6000万行的文件。我试图不断地查询文件以查找姓名列表的信息。文件中的每一行都包含一个名称，后跟相关信息。我试着编一本词典，但文件太大了。
许多人建议将SQLite用于Python。这对这么大的文件有帮助吗？

1条答案

您可以使用Linux Power Tools。AWK可以非常轻松地完成您的工作。
假设您的文件如下所示

name1 a b c

name2 e d r t

name3 x y

您想要查找姓名为2的信息。然后使用此命令，您可以找到

awk -F" " -v name=name2 '{if(name==$1){$1=""; print $0}}' filename

它将只输出名称2的信息，如下所示

e d r t

您可以传递多个名称并管理您的逻辑