时间戳

首页 > 解决方案 > 将 CSV 导入 BigQuery 时，如何保留缺少列的行？

csv - 将 CSV 导入 BigQuery 时，如何保留缺少列的行？

问题描述

我有一个巨大的 csv 数据库（4600 万行），我正在尝试上传到 BQ 以使用它。问题是最后一列没有填充大约一半的行。所以，我得到这个错误：

Error while reading data, error message: CSV table references column position 40, but line starting at position:X contains only 40 columns

我已经将每一列设置为“可为空”。我允许最多 1 亿个错误。发生的情况是 BQ 跳过最后一列为空的行 - 所有 20M+ 行。

我应该怎么办？手动摆脱最终值，因为它是一个我不会用于分析的布尔值？还是有更聪明的方法来做到这一点？

标签： csvgoogle-bigquery

解决方案

@Pentium10 在评论中建议的解决方案非常有趣并且应该可以工作。

您还可以使用bq load命令加载文件，并将其设置--allow_jagged_row为true. 它为缺少的尾随列提供了灵活性。

bq参考这里

推荐阅读