google-bigquery - 在 Bigquery 中使用“计划查询”时如何避免重复数据

Question

因此，我编写了一个查询，然后通过单击 Bigquery 中的“保存视图”按钮将其保存到视图中。使用相同的查询，我通过单击“安排查询”将它们安排到一个新表中（我知道这是一个 Beta 版本）。几天后，我比较了数据（视图与表），它表明表中的数据有重复。

标签： google-bigquery

Answer 1

您可以在计划查询上设置写入首选项，以便它将覆盖目标表或附加到它，具体取决于您的要求。

如果您需要更精细的东西，您可以使用BigQuery 数据定义语言 (DDL)，以便您的查询根据您的具体要求再次创建新的表或分区等。

如果您看到重复的数据，并且您无法找出原因，您还可以安排第二个查询来查看您的表并删除重复的条目。