amazon-web-services - 具有大量 Parquet 文件的 S3 存储桶的灾难恢复

Question

我有一个 S3 存储桶，每个分区中有很多拼花分割文件。存储桶中的所有文件对业务都非常重要，万一有人删除它们将是一场灾难。现在，如果我使用 Glacier/Glacier D.Arch.，我担心在失败的情况下我的检索成本会太高，因为单个镶木地板文件的数量。我怎样才能以最低的成本最好地为这样的存储桶创建灾难恢复？（假设用户没有在每个月删除必要的数据。）

示例案例： 考虑一下，我有 100 GB 的数据，其中包含 150 KB 的文件。Glacier 中 1 次意外删除的年度额外费用为 53 美元，而 Glacier Deep Arch 则为 82.4 美元。现在只需将每个文件的大小从 150 KB 更改为 1024 KB。这些费用更改为 Glacier 的 21 美元和 Glacier Deep Arch 的 16 美元。我这里的主要问题是拼花文件的数量，这些文件提高了负担得起的检索成本。

标签： amazon-web-servicesamazon-s3amazon-glacierdisaster-recovery

Answer 1

如果您只是想防止某人意外删除对象，我认为 S3 Glacier 或 Glacier Deep Archive 不是正确的选择。相反，您可以通过启用对象版本控制和MFA 删除来实现此目的。

另请注意，Amazon S3 Glacier 和 S3 Glacier Deep Archive 的每个对象有额外 32KB 的开销。考虑到您的对象平均为 150 KB，这将导致 21.3% 的成本增加。