时间戳

首页 > 解决方案 > 在 Azure 数据工厂中编排管道

azure - 在 Azure 数据工厂中编排管道

问题描述

我需要 ADF（非 Devops）编排方面的帮助。我正在提供带有 ADF 活动的流程，这些活动用数字表示

SAP表--->原始区域---->准备区域----->信任区域------->sFTP

        1              2                 3                   4

Kafka 摄取（由 ADF 运行）

Databrick jar（由 ADF 运行）

Databrick jar（由 ADF 运行）

ADF 复印活动

需要完成以下任务

在受信任区域中生成文件后，同步过程会将文件复制到 sFTP 位置。

要将文件复制到 sFTP，它将获取所有 .ctl 文件（触发/控制文件）并与 JOB_CONTROL 表中标记为已处理的内容进行比较。复制之前未处理/复制的新文件。

复制程序应轮询 .ctl 文件并执行以下步骤

一个。复制与 ctl 文件相同的 csv 文件。

湾。复制ctl文件

C。使用文件已成功处理的文件类型在 JOB_CONTROL 中插入/更新记录。如果成功，则不会考虑下次运行该文件。

d。如果发生错误，应使用相应的状态标志进行标记，以便下次运行时也考虑相同的文件

请帮助我实现这一目标。

问候， SK

标签： azureazure-data-factory-2

解决方案

这是我对这个问题的理解，您正在记录在表中复制的文件，并且打算启动失败文件的副本。我认为您可以使用查找活动来读取失败的文件，然后将其传递给 foreach(FE) 循环。在 FE 循环中，您可以添加复制活动（您必须对数据集进行参数化）。HTH

推荐阅读