首页 > 解决方案 > 使用 REST API 将数据附加到文件

问题描述

有没有人有使用数据工厂和其余 API 从源将数据附加到存储在 azure datalake 中的文件的示例

我可以在接收端使用带有 REST 数据集的复制活动吗?

Bellow 是我的管道,它包含一个 foreach 循环内的复制活动。我的要求是:如果文件已经存在于接收器上,则将数据附加到同一个文件中。(这里的复制活动只用新数据覆盖现有文件)

在此处输入图像描述

下沉 :

在此处输入图像描述

标签: apirestazure-data-factoryazure-data-lake-gen2

解决方案


目前, Azure 数据工厂不支持将数据附加到Azure Data Lake中的文件。

作为一种解决方法,

  1. 使用 ForEach 活动将多个文件加载到数据湖中。
  2. 使用复制数据活动合并单个文件以获得单个文件(最终文件)。
  3. 合并后删除单个文件。

请参阅此SO线程以了解类似过程。


推荐阅读