首页 > 解决方案 > 安排从 Google Cloud Storage 到 BigQuery 的传输

问题描述

我在 GCS 中有一个包含多个子文件夹的存储桶,所以它就像 My Bucket -> 2021 -> 每个月的文件夹,包含每天的文件夹,包含每个小时的文件夹,包含多个文件。我一直在为每个文件手动创建表。它们在 json 中。我正在使用自动模式。

由于手动操作太艰巨,有没有办法安排自动创建这些表?我阅读了有关创建从 GCS 到 BQ 的传输的信息,但我需要为它创建一个目标表 - 我是否创建一个空表并手动输入架构?如果有这么多子文件夹,如何编写 Cloud Storage URI?

最后,这种方法是否正确?我读过很多东西,比如工作流或云功能,但这一个似乎更直截了当。

标签: jsondatabasegoogle-bigquery

解决方案


推荐阅读