我正在aws基础设施上与emr(elasticmapreduce)合作,为程序提供输入文件(大数据集)的默认方法是将它们上传到s3 bucket,并从emr中引用这些bucket。通常我会将数据集下载到本地的开发机器上,然后上传到s3,但是对于更大的文件来说,这变得越来越难,因为上传速度通常比下载速度要低得多。我的问题是,有没有一种方法可以直接从互联网下载文件(给出它们的url)到s3,这样我就不必将它们下载到本地机器上,然后手动上传它们?
ijxebb2r1#
不需要。您需要一个中介—通常,为了提高速度,使用的是ec2示例,而不是本地计算机。
1条答案
按热度按时间ijxebb2r1#
不需要。您需要一个中介—通常,为了提高速度,使用的是ec2示例,而不是本地计算机。