时间戳

首页 > 解决方案 > 某些列的 Google BigQuery bq 负载？

google-cloud-platform - 某些列的 Google BigQuery bq 负载？

问题描述

我有一个.orc文件数据集。我使用 CLI 使用utilsbq load中的命令将我的数据加载到 BQ 中。gcloud我的数据有 4 列。第三列与第四列重复，但我想保留第四列。有没有办法只摄取带有文件bq load的某些列orc？

标签： google-cloud-platformgoogle-bigquery

解决方案

要仅摄取某些列，您可以在命令末尾指定列：

bq load --source_format=ORC DATASET.TABLE gs://YOU-FILES_LOCATION COLUMN1:TYPE, COLUMN2:TYPE, ...

让我们假设两个场景：

  1. 在第一种情况下，您没有表格，BigQuery并且只想加载ORC文件的某些字段。如果您运行上面指定某些字段的命令，将创建一个仅包含该字段的表。
  2. 在第二种情况下，您已经有一个BigQuery包含NULLABLE字段的表。在这种情况下，如果您运行上面指定字段的命令，您将仅将数据的该字段加载到表中，而其他字段将NULL用于该行。

如果它可以帮助您解决问题，请告诉我。

推荐阅读