首页 > 解决方案 > 要求 BigQuery 视图上的分区过滤器

问题描述

我们目前在各个团队的大查询中有几个授权视图

目前,我们partition_date在查询中使用列来减少处理的数据量(参考

#standardSQL
SELECT
  <required_fields,...>, 
  EXTRACT(DATE FROM _PARTITIONTIME) AS partition_date
FROM
  `<project-name>.<dataset-name>.<table-name>`
WHERE
  _PARTITIONTIME >= TIMESTAMP("2018-05-01")
  AND _PARTITIONTIME <= CURRENT_TIMESTAMP()
  AND <Blah-Blah-Blah>

但是,由于我们拥有的用户和数据的数量,很难保持大查询脚本的质量,导致我们随着用户数量的相对增加而增加了查询成本。

我看到我们可以在创建时使用--require_partition_filter参考TABLEs) 。那么,有人可以帮我解决以下问题吗

仅供参考,对于想要使用上述过滤器更新当前表的人,我看到我们可以使用我计划用于现有分区表的bq update命令(参考)。

标签: google-cloud-platformgoogle-bigquery

解决方案


  1. 是的,对通过视图查询的表有同样的限制。
  2. 那没有。

推荐阅读