google-bigquery - 如何在加载到 BigQuery 时从 CSV 文件中删除页脚记录

Question

我需要将一个 csv 文件从 GCS 加载到 BigQuery，而不需要页眉和页脚记录。

我很难从加载到 BigQuery 中删除页脚

在 Google 文档中，它说明了标题行和跳过它的方式，但没有说明页脚行

对于标题行，我将使用

   job_config=bigquery.LoadJobConfig()
   job_config.skip_leading_rows=1

标签： google-bigquery

Answer 1

我认为 BigQuery API 不包含此功能，您可以为此打开功能请求。

从您的代码中，我了解到您正在使用python, 作为跳过页脚行的解决方法：

1. 使用Pandascsv从 GCS读取文件
2. 删除最后一行：

df.drop(df.tail(1).index,inplace=True)

3. 将其加载到 BigQuery，跳过标题行。