google-bigquery - 是否可以在 AWS S3 上的镶木地板文件上编写/运行 BigQuery？

Question

我们想检查外部商店 parquet 文件的 BigQuery 性能。这些 parquet 文件存储在 AWS S3 上。无需将文件传输到 GCP，就可以编写可以在 AWS S3 存储的 parquet 文件数据集上运行的 BigQuery。

标签： google-bigquery

Answer 1

您可以使用适用于 Amazon S3 的 BigQuery 数据传输服务，它允许您自动安排和管理从 Amazon S3 到 BigQuery 的重复加载作业，并允许以 Parquet 格式加载数据。在此链接中，您将找到有关如何设置 Amazon S3 数据传输的文档。