google-cloud-platform - 如何找出 BigQuery 拒绝我的 parquet 文件的原因？

Question

尝试将 parquet 文件上传到 BigQuery 时，出现以下错误：

Error while reading data, error message: Read less values than expected from: prod-scotty-45ecd3eb-e041-450c-bac8-3360a39b6c36; Actual: 0, Expected: 10 

我不知道为什么我会收到错误。

我尝试使用 parquet-tools 检查文件，它可以毫无问题地打印文件内容。

parquet 文件是使用 parquetjs JavaScript 库编写的。

更新：我也在 BigQuery 问题跟踪器中提交了这个：https ://issuetracker.google.com/issues/145797606

标签： google-cloud-platformgoogle-bigqueryparquetparquetjs

Answer 1

事实证明，BigQuery 不支持最新版本的镶木地板格式。我将输出更改为不使用版本 2 格式，BigQuery 接受了它。