synchronization - 使用 rsync/rclone 进行增量数据传输

Question

我们有一个项目将包含大量文件的应用程序传输到另一台服务器。为了尽可能缩短迁移时间，我正在考虑分两步传输文件：

• step1：传输文件
• step2（在迁移日期）：转移增量

所以最初我从 rclone 同步到 AWS S3 存储桶开始。这肯定有效。但是由于文件数量巨大，使用 rclone 进行增量同步需要 5 个小时，即使只有 1 个文件发生了更改。rclone 检查过程需要很长时间...

我的下一个想法是首先 tar 初始文件并在初始过程中仅传输 tar。但是在迁移日期，我需要一个过程来找出自第一次初始 tar 以来添加和删除了哪些文件...

对此有什么建议吗？

标签： synchronizationrsynctransferdeltarclone