我有一个巨大的、管道分隔的.txt文件(300GB),我试图将它拆分成1GB的文件,以便在Python中进行进一步分析。不过,我的电脑没有足够的空间容纳另外300 GB,所以我想在分割原始文件时删除块。该文件也有一个头,我想保留在所有分割文件。
我试过在Bash中分割它,但无法找出一种方法,同时删除原始文件.文件太大,无法完整加载到Python中。
编辑:我想做这样的事情,但有一个标题:
https://unix.stackexchange.com/questions/628747/split-large-file-into-chunks-and-delete-original
1条答案
按热度按时间goucqfw61#
假设:
head
和/或tail
命令可能(错误地)分割数据行在this answer上扩展到OP提供的
unix.stackexchange.com
链接:**注意:**需要
truncate
(GNU核心实用程序的一部分,例如sudo apt-get install coreutils
)性能:
bigfile
:1000万行,810 MBcygwin
在Win10虚拟机(Ubuntu主机、NVME Gen 4 PCIe驱动器)中运行