pagination - Azure 数据工厂 REST API 立即提供服务 - 分页问题
问题描述
我们正在尝试使用 Azure 数据工厂通过 REST API 连接器从 ServiceNow 中提取数据。
我们已经尝试在 ADF 中使用特定的 ServiceNow 连接器,但这对于我们的目的来说表现得不够好 - 我们需要使用实际值和显示值并经常进行小负载,您无法在适当的位置过滤显示,所以它太慢了。
在简单的测试中,REST API 运行良好,挑战特别是在分页方面。在初始 GET 请求之后,ServiceNow API 在响应头中返回相关链接,格式如下;
Link →<url>;rel="first",<url>;rel="next",<url>;rel="last"
REST 资源数据集具有分页规则的设置,文档建议可以处理 - https://docs.microsoft.com/en-us/azure/data-factory/connector-rest#pagination-support
此通用 REST 连接器支持以下分页模式:
下一个请求的标头 = 当前响应标头中的标头值
我们无法弄清楚在分页规则键/值中放置什么,以便在每次接收到一页数据时导航到 rel="next" URL。
我们已经尝试了文档中描述的大多数选项——这样的事情似乎很接近:
{"paginationRules": {
"AbsoluteUrl": "Headers.['Link']"}
似乎 Headers.['Link'] 部分的格式正确但不够具体。
有没有人建议应该进行什么设置才能完成这项工作?
解决方案
使用 REST api,您可以通过将此参数添加到链接来进行分页
&sysparm_offset=10000
如果你想要一个下限添加限制是默认的 10000
&sysparm_limit=300
并相应地调整偏移量。
推荐阅读
- c - 从 struct ** 初始化 struct - segfault
- html - 如何防止用户在可滚动的 div 内向左/向右滚动时转到上一页/下一页?
- javascript - Vue v-for:在数组中单独迭代一个元素
- c# - form.serialize 不适用于字符串列表
- android - 表示层中的数据映射器
- awk - 当我使用 awk 时,“if”条件检查对我不起作用
- python - 如何将熊猫数据框转换为数据字典
- android - 如何将 alpha 通道添加到 xml 中的现有 Android 颜色
- java - 在Java中将图片的扩展名更改为phm
- bigdata - 清除 DataStream 中的 Flink 水印状态