google-bigquery - 如何下载在 BigQuery 中进行的所有查询?
问题描述
我创建了一个小型 DataStudio 仪表板,它使用来自一个非常大的表的 BigQuery 数据 - 今天 4.5 GB,每天都在增加。
今天它很受欢迎,它使我的平均 GCS 成本在一天内增加了五倍。如何下载已完成查询的完整列表,以便查看使用详情?
顺便说一句,如果您对如何降低查询成本有想法,请分享。我已经减少了用于构建结果的列的数量,并且我正在考虑进一步减少它们的方法。
解决方案
选项1:
要查看您的查询历史记录,请点击 BigQuery 控制台中的查询历史记录选项卡。要查看查询的详细信息,请从查询历史列表中选择查询。
Cloud Console 中的作业和查询历史记录包括您在过去 6 个月内提交的所有加载、导出、复制和查询作业(最多 1000 个条目)。1,000 个作业的限制在所有作业类型中是累积的。
https://cloud.google.com/bigquery/docs/bigquery-web-ui#viewing_job_and_query_history
选项 2:
如果您希望查看超过 1000 个查询,我们可以使用审计日志。在日志资源管理器中使用以下过滤器
resource.type="bigquery_resource"
protoPayload.methodName="jobservice.getqueryresults"
推荐阅读
- powershell - 根据祖父和父目录重命名文件并按顺序编号多个文件
- kotlin - 如何动态生成多个表作为 itextpdf 中的 Json 数据要求
- linear-regression - 线性回归返回大 x 值的不良拟合
- java - 从命令行在eclipse中打开文件创建新的eclipse实例(linux)
- python-3.x - 从 Dataframe 创建嵌套 JSON
- jquery - 在每条记录中单击记录按钮时,有没有办法在第一列中获取值
- pug - pug包含文件结构说明
- angular - ngFor 完成后运行函数
- javascript - 使用 JavaScript 从 C# 检索共享点对象列表
- matplotlib - 使用相应的标签列表绘制不同颜色的点