csv - BigQuery 非常慢的 CSV 上传

Question

BigQuery 在 2019 年 2 月 26 日 16:00 UTC 突然将 CSV 上传速度降低了约 10 倍，以通过 API 替换现有表。

什么会导致上传时间突然增加？以前需要 30 分钟，现在需要 6 小时。

标签： csvuploadinsertstreamgoogle-bigquery

Answer 1

由于您的问题是一般性的，因此让我为您提供一些有关如何继续的指导。
您可以在结果附近的 webUI 中或从左上面板的 Job history 中找到执行计划，有关如何打开查询的执行计划，请参见下图。

重要笔记：

1. 您会看到显示执行生命周期的 4 个颜色阶段，如果等待阶段是彩色的而不是灰色的，则表示您正在等待资源
2. 一个阶段的输出是第二个阶段的输入，因此，如果您的输出很大，则可能意味着下一步正在努力完成，围绕此的最佳实践很少，可以针对特定问题进行描述

3. 您还可以展开步骤并查看更多有趣的细节，例如：随机播放、广播、排序等，这可以帮助您获得有关幕后情况的更多信息

4. 这是BigQuery URL，其中包含有关执行计划的更多详细信息（检查Job.get API 以通过 API 获取执行计划）
5. 这是BigQuery 限制信息