使用ApachePig将文件从sftp复制到s3

628mspwn  于 2021-05-30  发布在  Hadoop
关注(0)|答案(0)|浏览(272)

我有大量非常大的文件(以gb为单位),需要从远程sftp服务器高效地复制到AWSS3存储桶。我正在考虑使用一个在aws elastic mapreduce(emr)集群中运行的pig脚本来实现这个目的,但是我已经能够找到关于如何创建脚本来执行任务的特定信息。使用pig脚本是否可以实现这一点?如果可以,是否有我可以遵循的示例?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题