google-cloud-platform - 文件上传到存储桶/云存储时自动开始加载到 BigQuery

Question

我们有一个脚本从另一个数据库导出 csv 文件并将它们上传到 GCP 云存储上的存储桶。现在我知道可以使用 BigQuery 数据传输服务将加载安排到 BigQuery 中，但我有点惊讶的是，似乎没有一种解决方案可以在文件上传完成时自动触发。

我错过了什么？

标签： google-cloud-platformgoogle-bigquery

Answer 1

您可能需要以google.storage.object.finalize自己的方式处理该事件 ( )。

例如，该事件可以触发一个云功能（谷歌云存储触发器），它可以做各种各样的事情——从触发加载作业到实现复杂的数据处理（清理、验证、合并等），而来自文件正在加载到 BigQuery 表中。