unix Rsync性能-同步单个大文件与同步多个小文件

huus2vyu 于 2023-01-25 发布在 Unix

关注(0)|答案(1)|浏览(186)

我正在使用rsync同步许多小文件（每个4.5 MB）。我正在使用18000的bwlimit。我将执行批量rsync命令，这样，

rsync -v dest_host:file1 dest_host:file2 dest_host:file3 dest_host:file4 dest_host:file5 ... src_dir.

但是我观察到的是，在上述带宽下，我每分钟同步的文件数不能超过4个。这是预期的吗？我想知道，如果我同步一个18MB的大文件，我可以同步得更快吗？
对于我上面的用例，是否有任何实用程序？

1条答案

我设法回答了我自己的问题。
同步多个小文件有开销，如文件创建，打开，关闭都在源和目标。
当我们传输100个大小为5 MB的文件和一个大小为500M MB的文件时，这将是非常重要的。
因此，结论是，同步单个大文件是有益的。