google-bigquery - 数据仓库中 BigQuery 表的归档解决方案

Question

给定一个使用 BigQuery 构建数据仓库的用例，假设是否需要对所有 BigQuery 表进行每月备份。什么是最好的选择？

• 将所有表格数据导出到云存储（csv？）
• 将所有表复制到不同的数据集（可能在不同的项目中）

考虑到成本和维护，最好的选择是什么？如果有其他选择，也请分享。

标签： google-bigquery

Answer 1

将数据从 BigQuery 移动到 GCS 时，您无需为导出和加载操作付费，如免费操作文档中所述；但是，在 GCS 中存储数据会产生费用，具体取决于所选存储的类型。该服务提供多区域、区域、近线和冷线选项，您可以根据访问存储数据所需的频率进行选择。

基于此，如果您想进行备份并且不经常访问数据，您可以使用Coldline / Nearline存储将数据存储在 GCS 中，或者使用BigQuery 中的长期存储，即当表格连续 90 天未编辑时自动应用，这将是一些更便宜的选择。另一方面，如果您打算积极使用数据，则最好将 BigQuery 与Active Storage一起使用，这与将其存储在具有区域存储的 GCS 中的成本相似；不过，这将取决于您的特定用例以及您希望与数据交互的方式。

关于提取文件格式，BigQuery 支持多种可用于加载数据的格式。我建议您查看此文档，该文档可以帮助您根据您的数据结构确定最适合您当前场景的格式。