sql - SSIS 增量加载 - 15 分钟

Question

我有 2 张桌子。源表来自链接服务器，目标表来自另一台服务器。我希望我的数据加载以下列方式发生：

1. 每天晚上我都安排了一项工作来进行完整转储，即截断表并将所有数据从源加载到目标。
2. 每 15 分钟进行一次增量加载，因为数据会以秒为单位被摄取到源中。我也需要在目的地上复制相同的内容。

到目前为止，对于增量负载，我已经创建了存储在存储过程中的脚本，但为了将来的目的，我们希望在这种情况下实现 SSIS。

脚本以以下方式运行：我有一个Inserted_Date列，在此列的基础上，我取该列的最大值并删除所有大于或等于Max(Inserted_Date)的行并插入所有相似的值从源头到目的地。该作业运行 15 分钟。

如何在 SSIS 中实现类似的场景？

我在 SSIS 上使用了查找和使用 ID 列的条件拆分，但是我正在使用的这些表有很多行，所以查找占用了很多时间，这不是为我的场景实施的正确解决方案。

有什么方法可以让Max(Inserted_Date)逻辑也进入 SSIS 解决方案。我的最终目标是删除使用脚本的方法并使用 SSIS 复制相同的方法。

标签： sqltsqlssisoledblookup

Answer 1

这是一般的控制流程：

这里有很多内容，但您可能需要学习如何从 Execute SQL 等设置变量。