google-bigquery - BigQuery：总叶字段太多 10852

Question

我正在从 Google Cloud Datastore 导入一些数据，其中包含大约 980 列。我首先将其导出到 Bucket 并尝试将其导入 BigQuery（使用GCP 指南 here）。但是，我得到了错误Too many total leaf fields: 10852。

我确定没有一个实体有超过 1000 个字段。导入过程是否有可能正在转换我的数据并创建其他字段？

标签： google-bigquerygoogle-cloud-datastore

Answer 1

托管导入/导出服务生成的架构将不包含超过 10k 的字段。因此，看起来您正在导入已包含数据的 BigQuery 表。BigQuery 将合并现有架构和新架构。因此，即使任何给定实体的字段少于 1000 个，如果您的所有实体中的所有字段名称的并集，加上 BigQuery 架构中的现有字段。

您拥有的一些选项包括：1) 每次导入 BigQuery 时使用一个新表。2) 尝试使用projectionFields来限制加载到 BigQuery 中的字段。