时间戳

首页 > 解决方案 > 使用 Azure 数据工厂从 HubSpot API 中提取数据

azure - 使用 Azure 数据工厂从 HubSpot API 中提取数据

问题描述

我正在尝试使用 Azure 数据工厂来完全加载到数据库，但在使用 HapiKey 作为身份验证时发现内置分页支持存在一些问题。

HubSpots CRM API 的端点在每个页面中都有一个指向下一页的绝对链接。在 ADF 中的 Copy Activity 中，使用内置的分页规则很容易设置：

"paginationRules": {
      "AbsoluteUrl": "$.paging.next.link"
}

但我还必须将查询参数“hapikey”（身份验证密钥）添加到 URL，我不知道该怎么做，我可以使用一些帮助。

例如，端点可以是“https://api.hubapi.com/crm/v3/objects/line_items?limit=100&hapikey=xxxkeyxxx”。例如，paging.next.link 中响应的输出可能是“https://api.hubapi.com/crm/v3/objects/line_items?limit=100&after=MTNKDdlsklDk”（使用 after 参数）。但是我需要在发送请求之前添加hapikey：“https://api.hubapi.com/crm/v3/objects/line_items?limit=100&after=MTNKDdlsklDk&hapikey=xxxkeyxxx”

我试图用我的 hapikey 的自定义值添加一个名为“hapikeypagination”的“附加列”。然后在分页规则中，我添加了 QueryParameters.hapikey，如下所示：

"paginationRules": {
      "AbsoluteUrl": "$.paging.next.link",
      "QueryParameters.hapikey": "$.hapikeypagination"
}

但它不起作用，我什至不确定 ADF 是否支持多个分页规则。

标签： azureapifactoryhubspot

解决方案

推荐阅读