azure-data-factory - Azure 数据工厂中的复制数据活动
问题描述
我有一个 adf 管道,它使用复制数据活动将数据从 blob 存储复制到表存储。此管道每天在触发器上运行一次。我很想知道这个复制数据活动是如何工作的。在管道运行期间,它是清除表并将数据从 blob 复制到表,还是在比较后将任何更新的行添加到表中?
例如:
第一次运行后,表包含以下行:
Row1 xyz 1
Row2 abc **2**
现在假设 blob 中的行更新如下:
Row1 xyz 1
Row2 abc **5**
在第二次运行期间,它是否清除表并存储上述数据或仅使用值 abc 和“5”而不是“2”更新 Row2
解决方案
ADF 复制活动不会更新表中的任何现有行。这是一个仅附加的过程。因此,如果您的表具有主键约束,则复制活动将失败。
要执行 upsert 过程,您可以使用映射数据流或存储过程。
推荐阅读
- c++ - C++ 本地地图在范围之外使用并且仍然有效
- navigation - Java中具有多个顶级目的地的导航图
- javascript - 具有相同键的数组的Javascript连接值
- mongodb - MongoDB 聚合框架和时间序列数据的窗口操作
- javascript - JavaScript 从多个文件中读取、处理和组合 JSON
- node.js - 错误:在 typeorm 中缺少表“类别”的 FROM 子句条目
- php - 选择功能显示重复数据
- java - 将 Activityi Workflow Engine 的 7.1.0.M6 版本与 Spring Boot 2.1.7.Release 版本一起使用时出现 Activiti 库版本不匹配错误
- jenkins - 安装后 Jenkins 无法在 CentOS 上启动
- python - 使用 Dask 在单个数据上运行令人尴尬的并行操作