我有一个将最新生成的hdfs文件复制到linux远程服务器的用例。我不想在本地文件系统中存储中间文件，然后对远程服务器执行scp。我知道这一点，但我想避免它（因为显而易见的原因-在本地fs中存储巨大文件的开销）
hadoop fs -copyToLocal <src> <dest> and then scp toMyLinuxFileSystem
是否有直接将hdfs文件复制到远程linux服务器的命令？
t1rydlwq1#
如果需要，可以使用linux管道来流式传输数据 ssh 到服务器可用
ssh
hdfs dfs -cat my-file.txt | ssh myserver.com 'cat > /path/to/my-file.txt'
第一个命令以流的形式读取文件数据，第二个命令将其重定向到远程服务器。为我工作。考虑到ssh有时会超时，如果很长一段时间没有任何东西在电线上。此答案的积分：https://superuser.com/questions/291829
1条答案
按热度按时间t1rydlwq1#
如果需要，可以使用linux管道来流式传输数据
ssh到服务器可用第一个命令以流的形式读取文件数据，第二个命令将其重定向到远程服务器。为我工作。考虑到ssh有时会超时，如果很长一段时间没有任何东西在电线上。
此答案的积分：https://superuser.com/questions/291829