api - 使用 REST API 将数据附加到文件
问题描述
有没有人有使用数据工厂和其余 API 从源将数据附加到存储在 azure datalake 中的文件的示例
我可以在接收端使用带有 REST 数据集的复制活动吗?
Bellow 是我的管道,它包含一个 foreach 循环内的复制活动。我的要求是:如果文件已经存在于接收器上,则将数据附加到同一个文件中。(这里的复制活动只用新数据覆盖现有文件)
下沉 :
解决方案
目前, Azure 数据工厂不支持将数据附加到Azure Data Lake中的文件。
作为一种解决方法,
- 使用 ForEach 活动将多个文件加载到数据湖中。
- 使用复制数据活动合并单个文件以获得单个文件(最终文件)。
- 合并后删除单个文件。
请参阅此SO线程以了解类似过程。