json - API 调用返回不同架构中的表列表，使其无法写入 BigQuery

Question

我正在python ( request.request ) 中对 MOATS 进行 API 调用，在循环中，具有特定的度量和维度列表，用于一组有限的报告/数据集，比如 20 个数据集。然而，json 表的返回列表具有不同的长度，因为某些数据集缺少一些指标，例如 20 个中的 12 个。

然后我进行json.dump调用以将这些写入存储在 GCS 中的多个 CSV 文件，然后将其写入BigQuery，但是，在这个阶段我有schema mismatch，因为有些表有完整的列列表 (27) 而其他有较小的（23 个或只有 4 个）。

由于我的 API 调用或 json 转储不会通过在缺少列的位置添加 null 来解决缺少的列，因此很难匹配 BigQuery 的架构并将这些多个 CSV 文件从云存储写入 BigQuery 表。

任何人都可以提出解决方案或解决方法。

提前致谢

标签： jsonparsinggoogle-bigquerypython-requests