我的hdfs上有一个320000000行的文件,我想把它分成4个文件,最多100000000行。如何按行数拆分文件?我试着用11重新划分分区,但是分区太大了。我能用命令解决吗?或者通过另一种方式在scala spark?
pw136qt21#
您可以读取文件,然后写入11个文件。
1条答案
按热度按时间pw136qt21#
您可以读取文件,然后写入11个文件。