linux—将文件从本地计算机直接复制到远程hdfs群集

iibxawm4  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(460)

我想将一个文件直接从本地linux机器复制到一个远程hdfs集群,也就是说,我不想将该文件复制到远程机器,然后使用copyfromlocal命令将其移动到hdfs。
为此,我执行了以下命令,我在一个在线博客中找到了它。

cat sample.txt | ssh -tt root@MY_HDFS_CLUSTER "sudo -u hdfs hdfs dfs -put - /user/myuser/data/sample/sample.txt"

我在执行命令时遇到的问题是,文件完全从本地计算机复制到远程hdfs集群,但在远程hdfs集群中创建了sample.txt.copying文件,而不是sample.text文件。复制进程不确定地运行,换句话说,它没有终止,我必须使用ctrl+c终止进程。
如果有人能帮我解决这个问题,我将不胜感激。

tag5nh1u

tag5nh1u1#

sample.txt文件有多大?我认为它可能很大,进程没有终止,因为它实际上还没有完成文件的复制。

相关问题