google-cloud-platform - 从 bigquery 中获取数据而不重复

Question

使用 Google 的 bigquery Python API，是否可以分批从大查询表 (GCP) 中获取数据而无需重复（即，分小批下载大型数据集，而不是一次全部下载）？

例如，如果我有一个包含 1000 万行的表，我是否可以运行 10 次数据获取迭代，其中每次迭代有 100 万个唯一的新行被下载而不重复（即，同一行在所有 10 次迭代中只获取一次） ?

标签： google-cloud-platformgoogle-bigquery

Answer 1

我用熊猫做那些事

import pandas as pd
import numpy as np
from google.oauth2 import service_account
import pandas_gbq
credentials = service_account.Credentials.from_service_account_file('yourkey.json')
10MrowsQuery = f'select * from 10MrowTable")'
dataframe = pd.read_gbq(10MrowsQuery, project_id="yourgcpprojectname", dialect='standard', credentials=credentials)