NodeJS 亚马逊s3上传速度慢

cbwuti44  于 2023-02-03  发布在  Node.js
关注(0)|答案(1)|浏览(387)

我尝试使用nestJs(nodeJs)和Angular 13将50gb的数据上传到s3桶中。我有数千张带有行文件的结婚照片,我正在将这些文件上传到s3桶中,但上传需要更多的时间。
我还在s3配置中启用了传输加速,并将所有文件上传到多部分数据中。
角突:
1.用户使用文件输入选择数千个文件
1.之后我调用一个API为每个文件上传到循环。例如,我有5个文件,所以它会调用5 api一个接一个。
后端流程:
1.文件上载到多部分数据(使用多部分上载)
1.文件上传到存储桶后,我将存储桶数据到数据库中
有没有人告诉我怎样才能提高s3 bucket的上传速度?

ttcibm8c

ttcibm8c1#

这是典型的缓慢问题,当你上传许多小文件到s3。一个大的50GB将上传的方式快于多个小文件的总大小50 GB。
最好的方法是并行上传,如果您可以使用AWS CLI,则在多个并行连接的情况下会非常快。
多部分上传适用于单个大文件传输加速在这里也不会有多大帮助

相关问题