我试图上传4k文件(约)的大小5g的hdfs上的每个处理。我使用命令方式来执行此操作:迭代每个文件-hadoop fs-copyfromlocal“localpath”“hdfspath”这要花很多时间。有没有更快的方法?块大小在这里重要吗?提前谢谢。
zengzsys1#
您可以使用background命令并行上传文件,方法是根据集群配置将4k文件划分为多个组。
1条答案
按热度按时间zengzsys1#
您可以使用background命令并行上传文件,方法是根据集群配置将4k文件划分为多个组。