我需要从集群外的ftp服务器复制文件到hadoop,即hdfs。提前谢谢。
b1zrtrql1#
你试过这个吗?ftp到hdfs。。。您可以修改此代码并将文件的参数更改为ftp a agrs[0],将hdfs paht更改为args[1]。然后将其作为hadoop jar运行。希望这会有帮助。。。
jaxagkaj2#
你看过webhdfs吗(http://hadoop.apache.org/docs/r1.0.4/webhdfs.html)或httpfs(http://hadoop.apache.org/docs/r2.2.0/hadoop-hdfs-httpfs/index.html)这些服务需要访问hadoop集群,然后您可以将httpfs端口公开给具有ftp服务器访问权限的服务器。
2w2cym1i3#
试试这个:hadoop fs-获取ftp://uid:password@server_url/file_path temp| hadoop fs-从本地tmp|u文件hadoop|u路径/dest|u文件移动
3条答案
按热度按时间b1zrtrql1#
你试过这个吗?ftp到hdfs。。。您可以修改此代码并将文件的参数更改为ftp a agrs[0],将hdfs paht更改为args[1]。然后将其作为hadoop jar运行。希望这会有帮助。。。
jaxagkaj2#
你看过webhdfs吗(http://hadoop.apache.org/docs/r1.0.4/webhdfs.html)或httpfs(http://hadoop.apache.org/docs/r2.2.0/hadoop-hdfs-httpfs/index.html)
这些服务需要访问hadoop集群,然后您可以将httpfs端口公开给具有ftp服务器访问权限的服务器。
2w2cym1i3#
试试这个:
hadoop fs-获取ftp://uid:password@server_url/file_path temp| hadoop fs-从本地tmp|u文件hadoop|u路径/dest|u文件移动