首页 > 解决方案 > Bigquery 将表的一半附加到另一个表

问题描述

我试图将本地jsonlines文件附加jl到 table t2jl但是,bigquery 恰好附加了to行数的一半t2。我的意思是有 935.094 行,jl但它只传输了 467.547 行。我想知道将本地文件附加到表时是否有这样的限制。

这是我的代码片段:

def append_local_file_to_table(self,file_path,dataset_id,existing_table):
    table_ref=self.client.dataset(dataset_id).table(existing_table)

    load_job_config=bigquery.LoadJobConfig()
    load_job_config.write_disposition=bigquery.WriteDisposition.WRITE_APPEND
    load_job_config.source_format=bigquery.SourceFormat.NEWLINE_DELIMITED_JSON

    with open(file_path,'rb') as jl:
        load_job=self.client.load_table_from_file(jl,table_ref,job_config=load_job_config)
    load_job.result()

标签: google-bigquery

解决方案


推荐阅读