python - Google 共享云端硬盘到 BigQuery 连接器

Question

我想编写一个 python 连接器，它将 Google Drive（共享驱动器）上新添加的 CSV 移动到 BigQuery。

我知道目前不支持将数据从 Drive 加载到 BigQuery，但您可以使用 external table 查询 Drive 中的数据。

例如，从 GC Storage 很容易实现数据的自动流动，但不确定如何连接到 Google Drive API（共享驱动器）、搜索新添加的 CSV（在许多目录中）并将它们作为表添加到 BigQuery。

标签： pythongoogle-bigquerygoogle-drive-apigoogle-drive-shared-drive

Answer 1

我认为无法在 BigQuery 中搜索新添加的 CSV 和目录。如果您查看在 BigQuery 中查询 Google Drive 的文档，您会发现您需要指定 Drive URI 来查询 Google Drive 中的表，该表对于每个文件都是唯一的。

不过，您可以在 Google Drive 中使用 AppScript 来完成此操作。查看这篇文章以获取有关如何执行此操作的教程。