google-bigquery - BigQuery 似乎每两个月就会删除一次从 Segment 传输的数据
问题描述
我使用 Data Studio 对我的条带数据进行可视化和图表。
我使用 Segment 将数据从 Stripe 传输到 BigQuery。它加载了一年多的历史数据,并不断地让这些数据留在仓库中。然后,不知不觉有一天我注意到今年 5 月之前的数据不见了。我联系了 Segment,他们说不是他们。
当然,这不是一个令人满意的答案。BigQuery 数据不会只是删除自身。我认为这一定是侥幸,只是重新连接了管道。
果然我今天检查了,五月和六月已经过去了,剩下的就是六月底到今天。
我想弄清楚是什么原因造成的。数据正在删除自身。我已经尝试过手动 sql 查询,但它们也没有任何结果。细分声称它不是他们。但这不是我。我不知道该怎么办。
请帮忙。我讨厌处理数据丢失,而且我对必须通过 CSV 导入数据并不感到兴奋。特别是如果它也会删除它自己。
解决方案
BigQuery 允许您设置表过期时间。我认为这可能发生在表级别和数据集级别。您可以检查您的配置以查看是否已启用?cloud.google.com/bigquery/docs/best-practices-storage
推荐阅读
- javascript - 如何使每个按钮仅在其子元素上执行功能
- python - 如何在 QTreeView 文件夹旁边显示孩子的数量?
- wpf - 使用异步调用时的 WPF 输入验证问题
- java - 在哪里可以找到 java.net.http 包的 Jar 文件?
- html - 如何在 CSS 中自定义导航栏内的某些项目?
- kubernetes - 如何更改 kube-proxy 配置?
- c# - 如何在导入数据网格或数据表之前从 c# winform 中的 csv 文件中删除重复的 Id 和名称
- python - 通过 LUT 实现指数函数
- spring-boot - 无法从另一个 docker 容器连接 ActiveMQ docker 容器
- c# - 在 C# 中更新 SQLite 数据库