将压缩文件跨服务器移动到hadoop hdfs

vxbzzdmp 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(456)

我有数百个大的，lzo压缩文件放在服务器上，我想复制到hadoopdfs。对于未压缩的文件，我通常使用的命令是

cat someFile | ssh uname@hadoop "hadoop dfs -put - /data/someFile"

我假设这对压缩文件不起作用（例如 cat 也许没有意义）。我是否首先需要将文件复制到name节点和put：

scp someFile.lzo uname@hadoop:~/ #on remote server
hadoop dfs -put someFile.lzo /data/ #on Hadoop server
rm ~/someFile.lzo

看来应该有更好的办法。

1条答案

如果您的客户机（拥有大文件的服务器）可以安装hadoop客户机库，那么在任何情况下都不需要cat文件。
可以使用的命令：
hadoop dfs-cp localfilename hdfs文件ipaddress:hdfsport（通常为9000）：hdfs路径