python - 使用大查询下载数据

Question

我有一个非常大的表（大约 100 亿行）并且可以访问大查询。我试过了Select * from table。它返回所有值，我想将此数据下载到我的本地计算机。我无权访问存储桶。我尝试使用 GUI，只有 16000 行的限制。我尝试运行查询bq extract table，但它需要URI存储桶。

有人可以指出我下载这些数据的正确方向吗？

标签： pythongoogle-cloud-platformgoogle-bigquerygoogle-cloud-storage

Answer 1

从 BigQuery 导出数据的正确方法是将其作为文件导出到bq extract table作业中的 Google Cloud Storage (GCS)。

存储桶的一个URI意味着您需要在 GCS 中创建一个存储桶，以便它可以托管输出文件 - 您可以稍后下载。

应该全部解释：https ://cloud.google.com/bigquery/docs/exporting-data