有没有一种方法可以在hdfs上快速上传数据?

wz3gfoph  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(428)

我试图上传4k文件(约)的大小5g的hdfs上的每个处理。我使用命令方式来执行此操作:
迭代每个文件-
hadoop fs-copyfromlocal“localpath”“hdfspath”
这要花很多时间。有没有更快的方法?块大小在这里重要吗?
提前谢谢。

zengzsys

zengzsys1#

您可以使用background命令并行上传文件,方法是根据集群配置将4k文件划分为多个组。

相关问题