google-cloud-platform - 如何为谷歌数据工作室更新谷歌云存储/大查询中的数据?
问题描述
对于上下文,我们希望在 google data studio 中可视化我们的数据——这个数据集每周都会收到更多条目。我曾尝试在谷歌驱动器中托管我们的数据集,但它们似乎太大了,这会减慢谷歌数据工作室的速度(文件只有 50 mb,我做错了什么吗?)。
我已经将我们的数据加载到谷歌云存储——>谷歌大查询,并将我的谷歌数据工作室连接到我的大查询表。这让我可以更快地使用谷歌数据工作室仪表板!
我不确定在 google cloud/bigquery 中每周更新数据的最佳方式是什么。我找到了一种缓慢的方法,方法是将新的每周数据上传到谷歌云,然后在 bigquery 中手动将数据附加到我的表中,但我想知道是否有更好的方法来做到这一点(或者至少更自动化方法)?
我愿意接受任何建议,如果您认为 bigquery/google 云存储不适合我,请告诉我!
解决方案
如果我正确理解了您的问题,您希望自动执行填充您的表的查询,该表连接到 Data Studio。
如果是这种情况,那么您可以使用 BigQuery 中的计划查询。计划查询允许您定义可以将结果插入新表中的查询。特别是您可以指定不同的重复规则(至少每 15 分钟)和执行,以及目标写入选项(目标表、写入模式:追加、截断)。
为了使用计划查询,您的帐户必须具有正确的权限。您可以查看以下文档以更好地了解如何使用计划查询 [1]。
另外,请注意,在前端,BigQuery 表中的更新数据将在每次刷新时在 Datastudio 中更新(单击 Datastudio 中的刷新按钮)。要自动刷新前端可视化,您可以使用以下插件 [2] 或通过浏览器控制台命令自动单击刷新按钮。
[1] https://cloud.google.com/bigquery/docs/scheduling-queries
推荐阅读
- python - 使用 chromedriver 访问“amiunique.org/fp”时,我的用户代理是“唯一的”,但与我的普通浏览器用户代理相同
- javascript - laravel foreach循环中的Javascript addEventListener问题
- javascript - JSON 数据未更新 onChange()
- sql - 每个唯一 ID 的 SQL 连接
- ffmpeg - 为什么 FFMpeg 不对视频输入应用视频过滤器?
- java - 代码的二叉树问题:NullPointerException
- python-3.x - 用 Bs4 刮掉标签的孩子
- java - 如何使用 Java/Selenium 在 Chrome 中禁用“退出前警告”?
- php - 一旦用户被重定向,会话就会丢失,在本地主机上工作正常
- assembly - 汇编引导加载程序代码在 VM 中工作,但在真实计算机上却很困难