首页 > 解决方案 > S3 - 使用批处理操作和 crr 复制大量数据,而不会丢失文件

问题描述

我有一个包含数百万个文件的巨大存储桶,并且不断使用该存储桶并添加新文件。我想开始将存储桶备份到另一个区域,我发现使用 CRR 备份新文件并通过批处理操作复制现有文件将是可行的方法。

首先设置 CRR 会导致重复文件和可能的版本控制问题,因为新文件可能会被旧文件替换。

先做批量操作,再做 CRR 会导致一些文件没有被复制。

如果两者同时制作,一切都应该没问题 - 每当创建清单文件时,CRR 应该适当地启动。但我对这种方法有些怀疑,应该以某种方式检查结果。

解决这个问题的最佳方法是什么?

标签: amazon-s3

解决方案


推荐阅读