github - 有没有办法通过 github 操作直接将预定查询部署到 GCP,并具有可配置的时间表?
问题描述
目前使用 GCP BigQuery UI 进行预定查询,一切都是手动完成的。
想知道是否有一种方法可以通过 github 操作使用包含预定查询参数和预定时间的配置 JSON 自动部署到 GCP?
到目前为止,这是我发现的一种使其更加“自动化”的选项:
- store query in a file on Cloud Storage. When invoking Cloud Function, you read the file content and you perform a bigQuery job on it.
- have to update the file content to update the query
- con: read file from storage, then call BQ: 2 api calls and query file to manage
目前在其他存储库中使用 DBT 来自动化并使这个过程更快:https ://docs.getdbt.com/docs/introduction
虽然更喜欢 github 操作版本,只是还没有找到一个好的文档:)
解决方案
推荐阅读
- python - 如何单击python selenium中表内的链接?
- sql - 使用 SQL (Bigquery) 在百分比列上创建存储桶
- udp - SIMCOM A7600E 接收 UDP 包出现问题
- spring - 尝试使用 Spring 和 JavaMailSender 发送带附件的邮件,但显示“找不到”(403)和“拒绝访问”,但提供了访问权限
- angular - 手动重新定位 ng-dropdown-panel
- google-apps-script - Google-Appscript 的 PropertiesService.getScriptProperties() 的范围是什么?
- java - Spring Boot JMSListener 被其他 JMSListener 阻止,用于不同的目的地
- jms - 无法理解的 JMS 异常 ActiveMQNotConnectedException
- r - 如何编写循环以在 R 中加载、修改和保存视频文件?
- python - 合并 DateTimeIndex 上的两个数据框,忽略年份