时间戳

首页 > 解决方案 > 如何克隆 bigquery 数据集

google-bigquery - 如何克隆 bigquery 数据集

问题描述

我们正在为我们的新云仓库评估 bigquery 和雪花。bigquery 是否具有内置的克隆功能？这将使我们的开发人员能够快速创建多个开发环境，并且我们还可以恢复到时间点。Snowflake 具有零副本克隆，以最大限度地减少存储空间。为了在 bigquery 中管理 DEV/QA 环境，我们是否需要从 prod 手动复制数据集？请分享一些见解。

标签： google-bigquery

解决方案

您可以使用预 GA 功能大查询数据传输服务来创建数据集的副本，您还可以安排和配置作业以定期运行，以便目标数据集与源数据集同步。可以通过FROM 子句中的 FOR SYSTEM_TIME AS OF恢复到某个时间点

我不认为snowflake clone大查询有一个完全等价的。这意味着什么？

  • will be charged如果跨区域，您需要额外的存储空间和数据传输（定价相当于区域之间的 Compute Engine 网络出口）
  • 克隆是not instantaneous，对于大型表（> 1 TB），您可能仍需要等待一段时间才能看到创建新副本

推荐阅读