使用sftp将文件移动到hadoop hdfs

gg58donl  于 2021-06-04  发布在  Hadoop
关注(0)|答案(2)|浏览(635)

我有一个vpc子网,里面有多台机器。
在机器的另一端,我保存了一些文件。在另一台机器上,我已经安装并运行了hadoophdfs服务。
我需要移动这些文件从第一台机器到hdfs文件系统使用sftp。
hadoop有一些api可以实现这个目标吗?
ps:我已经使用ClouderaCDH4发行版安装了hadoop。

vwoqyblh

vwoqyblh1#

用apacheoozie编写的工作流就可以做到这一点。它随cloudera发行版而来。用于编排的其他工具可以是talend或pdi-kettle。

f5emj3cl

f5emj3cl2#

这是一个比hdfs更容易在ftp/sftp服务器端实现的需求。
查看ftp服务器在hdfs上的工作情况hdfs over ftp

相关问题