azure-pipelines - 在每个管道运行中在 Blob 存储中创建和保存新文件

Question

是否可以使用自定义名称在 Azure 数据工厂中为管道的每次运行在 blob 存储中创建一个csv文件？

每个csv都必须在其名称中包含运行日期（我可以使用变量轻松设置），因为它具有与该日期相关的数据。

我不知道该怎么做，因为“复制”活动中的接收器属性允许选择一个已经创建的“接收器数据集”，但不能在每个管道运行中创建一个新的。

标签： azure-pipelinesazure-data-factoryazure-blob-storagecopy-activity

Answer 1

我不知道该怎么做，因为“复制”活动中的接收器属性允许选择一个已经创建的“接收器数据集”，但不能在每个管道运行中创建一个新的。

是的，源数据集和接收器数据集应该是准确的。执行复制活动时不能设置动态接收器数据集。

根据您的描述，您希望将每个 ADF 管道的执行日期分别记录到不同的文件中。据我所知，没有直接的选项可以实现。提供以下可能的解决方法供您参考：

使用您的 ADF 帐户启用诊断日志并设置日志文件的驻留（Blob 存储）。您可以查看该日志文件中的属性：pipelineName ,start,end.

使用 Azure Function Blob Trigger 从文件中获取全部数据。并根据需要将文件单独创建到另一个带有代码的 blob 存储路径中。