python - 非常大的 bigquery 表到 python 列表

Question

我在 bigquery 中有一个超过 5000 万行的表。我想从表中取出一列并将其加载到 python 列表中。

我目前正在使用以下代码将我的查询转换为列表：

from google.cloud import bigquery

bq_client = bigquery.Client()
query = """ SELECT column FROM table GROUP BY column """
query_result = bq_client.query(query)
column_list = [row.column  for row in query_result]

它太慢/导致内存问题。

有没有更好的方法来做到这一点？

标签： pythongoogle-bigquery