CSV文件太大,需要将其拆分为较小的文件

to94eoyn  于 2022-12-25  发布在  其他
关注(0)|答案(2)|浏览(568)

我有一个大的CSV文件(4.000.000行aprox)工作的麻烦,我正在寻找一种方法来划分这样的文件成更小的。
感谢您提供的任何意见。

qhhrdooz

qhhrdooz1#

你没有提到你使用的是哪个操作系统。在UNIX/Linux系统中,有split命令,你可以使用它把一个文件分成两行的块:

Prompt> split -l 2 file.txt testfile
Prompt> ls -ltra
...
-rwxrwxrwx 1 user user   64 Dec 22 15:47 testfileaa
-rwxrwxrwx 1 user user   64 Dec 22 15:47 testfileab
-rwxrwxrwx 1 user user    1 Dec 22 15:47 testfileac
...

如果你使用的是Windows,你可以安装一个WSL应用程序(Windows Subsystem for Linux),它会在你的计算机上安装一个类似Linux的程序,让你可以访问所有奇妙的Linux命令行:-)

vyu0f0g1

vyu0f0g12#

还有许多其他方法可以处理大小相似的CSV文件。
以下假定您必须使用Excel来处理此文件。
使用数据〉获取和转换数据〉从文本/CSV
选择文件后,选择“转换数据”以在Power Query编辑器中打开查询。
在这里,您可以简单地使用主页〉关闭并加载到〉,并像这样配置:

之后,您将能够在Power Pivot数据模型中操作数据,并使用数据透视表和数据透视图分析数据。
或者,如果您必须将数据加载到工作表,您可以在使用主页〉关闭并加载并选择'表格'之前,在Power Query编辑器中将数据过滤到可管理的大小。
如果确实必须拆分数据,可以创建引用主查询的单独查询,每个查询在某个列上具有筛选器。
在电源查询编辑器中,右键单击在文件上创建的查询,然后选择“Reference”。

这将创建一个新的查询,您可以按照上面的描述进行筛选和加载。
你可以重复这个过程很多次。

相关问题