csv - 如何创建从 Google Drive 到 BigQuery 的管道

Question

我需要执行以下操作：

1. 将 .csv 文件上传到 Google 云端硬盘
2. 进入 Google Cloud 后，该文件应由存储在 Google Storage 中的 Javascript 函数打开，以在某些列上应用更改。
3. 生成的 .csv 应用于创建 BigQuery 表。

此管道应从桌面命令行启动。

标签： csvgoogle-bigquery

Answer 1

如果您直接将 .csv 文件上传到 Google Cloud Storage 而不是 Google Drive，您可以：

1. 触发一个云函数（可以在上传文件时自动触发）
2. 使用 Cloud Function 中的 JavaScript 代码执行编辑操作。
3. 为 BigQuery应用node.js 客户端库，以在 Cloud Function 中加载生成的 .csv。

您还可以创建两个 Cloud Functions 来分离它们的角色，并按照以下步骤在 GCS 中创建一个备份 CSV：

1. 触发云功能 1.
2. 使用 Cloud Function 1 中的 JavaScript 代码执行编辑操作。
3. 使用 Cloud Function 1 将 .csv 保存回 Google Cloud Storage 中的不同存储桶中。
4. 触发 Cloud Function 2 以将新的 .csv 传输到 BigQuery（在此处找到示例代码）。

如果您需要先加载 Google Drive，请查看 Apps Scripts。您可能会在那里找到解决方案。