如何在hadoop中分割文件?

tyg4sfes  于 2021-05-30  发布在  Hadoop
关注(0)|答案(0)|浏览(287)

想知道你们会采取什么样的路径来将一个碰巧在hdfs中的大文件分割成单独的块(预先配置的大小)?
认为mapreduce在这里会有帮助,并且不确定一个更普通的unix解决方案是否会起到最好的作用。
(需要拆分文件b/c似乎在我们这边sqoop不会导出大于400gb的文件)

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题