google-bigquery - BigQuery 将数据导出到一个大文件中

Question

BigQuery 文档告诉我们每个请求的限制，一个文件不能超过 1 Gb，这是真的，但并非总是如此。我做了一个新的导出，很惊讶，一个文件有 6 Gb 大小。这个大文件对我来说是个问题。

我可以做些什么来减小文件大小以及为什么 BigQuery 做了这么大的文件？

标签： google-bigquerygoogle-cloud-storage

Answer 1

BigQuery 导出文件的大小各不相同，有时会拆分为超过 1GB 的文件或拆分为许多小文件。

有一个关于此的公开问题，但它只涉及文档更改以设定对不同导出文件大小的期望

这似乎其他人也遇到了这个问题：

• https://stackoverflow.com/questions/44117092
• https://stackoverflow.com/questions/51405594

您可以尝试进行新的导出，但如果导出文件大小始终高于 1GB，则您可以报告当前的公共问题以查看这种不可预测的行为。