json - 根据行数而不是数据大小 azure 数据工厂拆分 JSON 文件

Question

我的问题是，我正在尝试使用 Azure 数据工厂 (ADF) 将数据推送到 Web 服务以写入目标系统。但是，ADF 对 1 分钟的 Web 服务步骤有限制。我需要解决这个问题，我正在尝试将 json 文件拆分为多个文件。

过程：

1. 收到带有 CSV 文件的电子邮件
2. CSV 文件被放入 Blob 存储
3. CSV 文件转换为 JSON
4. 使用 API 写入目标系统

1 分钟后第 4 步超时。所以我希望解决这个问题，我的第一个倾向是将 json 数据块拆分，并通过 ADF 中的循环将每个数据块传递给 API。

我面临的挑战是如何根据条目而不是大小来分解 json 文件。

我曾尝试在 ADF 中使用元数据来获取计数，但我没有成功。

基本流程： 谢谢

标签： jsonazure-data-factory

Answer 1

获取元数据活动无法从 JSON 获取 columnCount

从二进制、JSON 或 XML 文件获取元数据时，不支持 structure 和 columnCount。

你可以创建一个 Azure 函数并将 JSON 数据传递给它。然后，您可以在 Azure Function 中将 JSON 数据拆分为多个块。最后通过 For Each 或 Until 活动循环这些块并在其中执行 step4。