时间戳

首页 > 解决方案 > 我们可以在 DBT（数据构建工具）中调用任何外部 REST API 吗？

api - 我们可以在 DBT（数据构建工具）中调用任何外部 REST API 吗？

问题描述

我正在进行一些分析工作，我们需要将数据从一个来源转换到另一个来源，我们正在使用DBT进行转换。仅可通过 REST API 使用的数据之一。所以我的问题是我们可以在 dbt 文件中调用外部 API 并从其响应中提取字段。我们有东西吗？

标签： apidata-analysistransformationdata-transformdbt

解决方案

引用创始人的博客文章：“dbt 到底是什么？” ,

“dbt 是 ELT 中的 T。它不提取或加载数据，但它非常擅长转换已经加载到仓库中的数据。这种“加载后转换”架构被称为 ELT（提取、加载、转换） 。”

因此，除非您的仓库中已经有 api 响应，否则 dbt 将无法为您提供帮助。您可能需要一个 ELT 引擎（Stitch、Fivetran、Airflow 等）来检索和存储 API 响应。但是，如果您将 API 响应存储为 JSON 对象或嵌套字符串 - dbt 可以使用它。

它可能看起来有点令人印象深刻，但有时一个伟大产品的魔力在于它专注于在一件事情上真正非常出色。

推荐阅读