时间戳

首页 > 解决方案 > Azure 数据工厂 V2 将活动从 Blob 存储复制到数据仓库

azure-data-factory-2 - Azure 数据工厂 V2 将活动从 Blob 存储复制到数据仓库

问题描述

我正在使用 ADF v2 将数据从 Blob 存储上的 CSV 源导入 Azure SQL 数据仓库。我在管道中的第一个活动是将活动从 CSV（在热 blob 存储上）复制到 Azure SQL DWH。如果此活动成功完成，下一个活动是再次复制活动，但现在从 CSV（在热 Blob 存储上）到 CSV（在冷 Blob 存储上），移动历史和存储定价优化的过程。CSV 文件的文件名作为 Pipeline-Parameter 发送到 Pipeline。

我注意到的是，如果我使用 blob 存储中不存在的 csv 的 Filename 参数启动 Pipeline，则第一个 Copy 活动 (CSV -> DWH) 将无错误地完成。它不会将任何数据导入DWH，这是正常的，但不会引发丢失文件的错误。Next 复制活动（CSV 热存储 -> CSV 冷存储）引发失败错误 -> 缺少 blob。

我还想复制到 DWH 以引发错误，因为这样我可以在管道中添加其他活动来处理这种情况。在某处记录错误，将文件标记为丢失等。

在没有源 blob 存在的情况下成功完成从存储到 DWH 的复制活动的具体内容是什么？如果这很重要，我会在活动的 Sink 部分中使用 polybase 复选框。

如果源 blob 不存在，有谁知道如何将此复制活动（存储 CSV -> SQL DWH）设置为失败？

谢谢

标签： azure-data-factory-2

解决方案

是的。您可以在 if 活动中放置任意数量的活动。因此，您可以使用 getMetadata 活动获取有关 blob 存储的详细信息（检查文档中的存在属性，链接如下）。

https://docs.microsoft.com/en-us/azure/data-factory/control-flow-get-metadata-activity

推荐阅读