我有一个vpc子网,里面有多台机器。在机器的另一端,我保存了一些文件。在另一台机器上,我已经安装并运行了hadoophdfs服务。我需要移动这些文件从第一台机器到hdfs文件系统使用sftp。hadoop有一些api可以实现这个目标吗?ps:我已经使用ClouderaCDH4发行版安装了hadoop。
vwoqyblh1#
用apacheoozie编写的工作流就可以做到这一点。它随cloudera发行版而来。用于编排的其他工具可以是talend或pdi-kettle。
f5emj3cl2#
这是一个比hdfs更容易在ftp/sftp服务器端实现的需求。查看ftp服务器在hdfs上的工作情况hdfs over ftp
2条答案
按热度按时间vwoqyblh1#
用apacheoozie编写的工作流就可以做到这一点。它随cloudera发行版而来。用于编排的其他工具可以是talend或pdi-kettle。
f5emj3cl2#
这是一个比hdfs更容易在ftp/sftp服务器端实现的需求。
查看ftp服务器在hdfs上的工作情况hdfs over ftp