scp将远程文件复制到hadoop中,而不将其复制到边缘节点

8ftvxx2r  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(651)

要将文件从远程服务器复制到hadoop而不复制到边缘节点。
1.根据下面的文章,我们可以分两步完成,首先对本地边缘节点执行scp,然后执行hdfs命令从边缘节点移动到hdfshttps://community.cloudera.com/t5/support-questions/import-data-from-remote-server-to-hdfs/td-p/233148
2.根据下面的文章,我们可以使用ssh cat,但是我们有像.gz这样的文件,如果不将远程文件复制到本地磁盘,就不能将其放入hadoop中
但我正在寻找第三种选择,在那里我们可以scp而不是ssh cat,并复制到hadoop而不复制到边缘节点。

klr1opcd

klr1opcd1#

hadoop没有scp上传功能。
如果您想在不使用边缘节点或ssh的情况下获取文件,那么webhdfs或nfsgateway就是这样提供的

相关问题