将文件从ftp复制到hdfs

vs91vp4v  于 2021-06-04  发布在  Hadoop
关注(0)|答案(3)|浏览(401)

我需要从集群外的ftp服务器复制文件到hadoop,即hdfs。
提前谢谢。

b1zrtrql

b1zrtrql1#

你试过这个吗?ftp到hdfs。。。您可以修改此代码并将文件的参数更改为ftp a agrs[0],将hdfs paht更改为args[1]。然后将其作为hadoop jar运行。希望这会有帮助。。。

jaxagkaj

jaxagkaj2#

你看过webhdfs吗(http://hadoop.apache.org/docs/r1.0.4/webhdfs.html)或httpfs(http://hadoop.apache.org/docs/r2.2.0/hadoop-hdfs-httpfs/index.html)
这些服务需要访问hadoop集群,然后您可以将httpfs端口公开给具有ftp服务器访问权限的服务器。

2w2cym1i

2w2cym1i3#

试试这个:
hadoop fs-获取ftp://uid:password@server_url/file_path temp| hadoop fs-从本地tmp|u文件hadoop|u路径/dest|u文件移动

相关问题