google-bigquery - 如何将 BigQuery 数据集从一个区域复制到另一个区域？

Question

我想将数据集bigquery-public-data.iowa_liquor_sales从美国复制到欧盟。

但bq cp在区域之间不起作用。

标签： google-bigquery

Answer 1

您可以使用 BigQuery 数据传输服务。

首先，创建目标数据集：

bq mk --location eu ch10eu

然后，创建一个数据源为 cross_region_copy 的传输配置：

bq mk --transfer_config --data_source=cross_region_copy \
   --params='{"source_dataset_id": "iowa_liquor_sales", "source_project_id": "bigquery-public-data"}' \
   --target_dataset=ch10eu --display_name=liquor \
   --schedule_end_time="$(date -v +1H -u +%Y-%m-%dT%H:%M:%SZ)"

因为数据传输服务是为例行复制而设计的，这将每 24 小时重复一次。在我的示例中，我将结束时间设置为 1-hour from now，这样传输只发生一次。