azure - 如何使用 Azure 数据工厂执行带有日期或键列的增量加载

Question

我想使用 azure 数据工厂实现从 oracle 到 Azure SQL 数据仓库的增量加载。我面临的问题是我没有任何日期列或任何键列来执行增量加载有没有其他方法可以实现这一点。

标签： azureetlazure-data-factory

Answer 1

您要么必须：

A. 在每个表中确定要用于确定行是否已更改的字段 B. 在源数据上实施某种更改捕获功能

这些确实是限制从源中提取的数据量的仅有的两种方法。

它不会很有效，但是如果您只是尝试不更新目标中未更改的行，则可以散列源值并散列目标中的值，并且仅插入/更新散列的行不匹配。这是一个如何在 T-SQL 中工作的示例。

数据工厂文档中有一部分专门用于增量加载数据。如果您还没有，请检查一下。