azure-data-factory-2 - Azure ADF - 如何仅在新文件到达后继续进行管道活动？

Question

我已经使用 databricks 笔记本编写了通用数据文件到达检查例程，它接受文件名和时间，指定可接受的文件新鲜度。许多管道使用此笔记本并传递文件名元组，最后笔记本返回 True 或 False，以指示下一个工作流活动是否可以开始。到目前为止，一切都很好。现在我的问题是如何在 Azure ADF 管道中使用它，如果它失败，它应该等待 30 分钟左右，然后通过再次在笔记本上运行再次检查？此笔记本应首先运行，因此如果新文件已经存在，则不应等待

标签： azure-data-factory-2azure-databricks

Answer 1

由于您正在谈论笔记本活动，您可以添加一个等待活动“失败”并设置等待时间。等待后添加一个执行管道活动。这个执行管道应该指向一个管道，其中一个执行管道（再次）指向具有笔记本活动的主管道。基本上这只是一个循环，但只会在失败时执行。