时间戳

首页 > 解决方案 > 使用 insertAll 将数据加载到 BigQuery 时每天出现一次“后端错误”

google-bigquery - 使用 insertAll 将数据加载到 BigQuery 时每天出现一次“后端错误”

问题描述

我们使用 StreamSets Data Collector 并利用 insertAll API 每小时将数据从 Postgres 数据库加载到 BigQuery。一般来说，它可以工作，但几乎每天早上（过去 10 天中有 8 天）在太平洋时间上午 6:00 左右运行的作业都会失败，并返回约 25 个表的所有行，并返回一条消息“后端错误”。加载的数据总量约为 150MB。

有什么方法可以更深入地了解在此期间引发这些错误的原因是什么？这些后端错误是否被视为“正常”？

这是使用 StreamSets 数据收集器，因此实际上没有任何代码可以发布。在行中发送的阶段是一个 HTTP 处理器，它使用https://bigquery.googleapis.com/bigquery/v2/projects/{projectid}/datasets/{dataset}/tables/{table}/insertAll

标签： google-bigquery

解决方案

推荐阅读