尝试通过Jenkins job命令在AWS S3中同步bucket(一个s3 bucket到另一个s3 bucket):
aws s3 sync s3://bucketname1 s3://bucketname2 --exclude *snaps/**** --exclude '*.html' --no-progress
问题:aws s3 sync
命令间歇性中途失败,没有错误。这意味着,所有文件都不会同步到目标存储桶。
使用以下版本:
aws-cli version:
aws-cli/2.11.23 Python/3.11.3 Linux/5.4.0-1039-aws exe/x86_64.ubuntu.20 prompt/off
Jenkins version:
Jenkins 2.361.4
意见:
- 在向标准输出打印了大约4k行之后,sync退出并显示非零状态代码
- 我们使用上面的AWS CLI命令启用了
--debug
标志,并且没有发现任何关于此命令突然停止的错误或提示 - 当我们从本地笔记本电脑运行此命令时,相同的命令可以正常工作。
在本地笔记本电脑中使用的版本:
aws-cli/2.7.16 Python/3.9.11 Darwin/21.5.0 exe/x86_64 prompt/off
1条答案
按热度按时间lyr7nygr1#
对象大小可能是同步操作失败的原因。根据AWS文档,每个对象的限制为5 GB。如果是这种情况,您可能需要寻找多部分上传。