google-bigquery - 您可以安排 BQ 查询每天运行并保存到表中吗？
问题描述
我有一个 BQ 查询，它会产生很多我通常保存为新表的数据。是否可以安排此过程每天进行？如果可能的话，推荐的方法是什么？
解决方案
Bigquery 不附带它自己的作业调度程序。您将无法从 bigquery Web 视图执行此操作。
你完全可以用一点代码做到这一点。您必须选择一个调度程序来在您希望的时间运行您的 bigquery 查询作业。许多人只是从一个非常简单的 bash 脚本开始，该脚本通过 cron 运行作业。
另一种方法是使用 apache-airflow 作为调度程序，并将您的作业部署为气流 DAG，您可以在需要时执行该 DAG。Airflow 甚至有一个 BigqueryOperator 可以让你更轻松。
基本上你需要一点代码和谷歌云 sdk 来做到这一点。
我相信这个问题可能已经在这里得到了回答
推荐阅读
- python - Python - 仅当列表中存在某些特定元素时才将元素插入列表
- machine-learning - 集成学习背后的概念？
- arrays - 分页可观察数组
- elasticsearch - 在 Elasticsearch 中重新索引期间是否可以忽略 json_parse_exception？
- c++ - 在 C++ 中强制转换为 simd 类型的未定义行为吗？
- c++ - 如何防止派生类成为 C++ 中的抽象类？
- ios - Json 快速更新
- c - 如何在 GTK3 窗口中打印仅终端命令的输出？
- php - laravel 中的未知或错误时区 ()
- java - java.lang.NoSuchMethodException : package.ClassName。
() 使用类