首页 > 解决方案 > BigQuery 似乎每两个月就会删除一次从 Segment 传输的数据

问题描述

我使用 Data Studio 对我的条带数据进行可视化和图表。

我使用 Segment 将数据从 Stripe 传输到 BigQuery。它加载了一年多的历史数据,并不断地让这些数据留在仓库中。然后,不知不觉有一天我注意到今年 5 月之前的数据不见了。我联系了 Segment,他们说不是他们。

当然,这不是一个令人满意的答案。BigQuery 数据不会只是删除自身。我认为这一定是侥幸,只是重新连接了管道。

果然我今天检查了,五月和六月已经过去了,剩下的就是六月底到今天。

我想弄清楚是什么原因造成的。数据正在删除自身。我已经尝试过手动 sql 查询,但它们也没有任何结果。细分声称它不是他们。但这不是我。我不知道该怎么办。

请帮忙。我讨厌处理数据丢失,而且我对必须通过 CSV 导入数据并不感到兴奋。特别是如果它也会删除它自己。

标签: google-bigquerygoogle-data-studio

解决方案


BigQuery 允许您设置表过期时间。我认为这可能发生在表级别和数据集级别。您可以检查您的配置以查看是否已启用?cloud.google.com/bigquery/docs/best-practices-storage


推荐阅读