时间戳

首页 > 解决方案 > 使用 _PARTITIONTIME 从现有表在 BigQuery 中创建聚簇表

google-bigquery - 使用 _PARTITIONTIME 从现有表在 BigQuery 中创建聚簇表

问题描述

我正在尝试创建一个新的聚集表，它与BigQuerydb.new_table中的现有表具有相同的数据和架构。db.old_table现有表有一个伪列_PARTITIONTIME，我希望新表也有这个_PARTITIONTIME伪列。

我尝试使用 DDL，查询如下：

CREATE TABLE `db.new_table`
PARTITION BY DATE(_PARTITIONTIME)
CLUSTER BY field1, field2
AS SELECT * FROM `db.old_table`
WHERE _PARTITIONTIME > '1990-01-01'

但是它失败了，因为我们不能使用PARTITION BY DATE(_PARTITIONTIME)后跟AS SELECT .... 如https://cloud.google.com/bigquery/docs/reference/standard-sql/data-definition-language中所述

有没有办法做到这一点？（从由伪列 _PARTITIONTIME 分区的旧表中创建一个具有完全相同架构和数据的新聚簇表）

感谢您的任何回答和评论，谢谢。

注意：我可以创建一个没有 _PARTITIONTIME 的类似表，查询如下：

CREATE TABLE `db.new_table`
PARTITION BY partition_date
CLUSTER BY field1, field2
AS SELECT DATE(_PARTITIONTIME) AS partition_date, * FROM `db.old_table`
WHERE _PARTITIONTIME > '1990-01-01'

但是，由于系统中很多东西都依赖于db.old_table，因此分区字段从_PARTITIONTIMEto的变化partition_date会导致很多查询变化......因此，如果我们可以创建具有完全相同的模式和数据的聚簇表，那将是更可取的。

标签： google-bigqueryddl

解决方案

db.new_table您可以使用 BQ UI 或bq命令预先创建按天分区的聚簇表（在任何字段上） 。

一旦表格在那里，您可以将“每天”填充为：

bq query --allow_large_results --append_table --noflatten_results --destination_table 'db.new_table$19900101' "select field1, field2, field3 from db.old_table where _PARTITIONTIME = '1990-01-01'";

注意两点：

  • 您必须每天单独运行此查询（这将花费您几乎相同的费用，所以不用担心）。
  • db.new_table$19900101指向1990-01-01in的分区db.new_table。

推荐阅读