sql - SSIS 数据质量控制方法

Question

我每个月都会得到一组月度数据，大部分都是相同的列。我正在使用导入/导出向导手动加载这些文件。通常，我会使用日期戳加载此数据，以便可以将上个月提供的旧数据与新数据进行比较。如果差异小于 5%，我会保留新数据，否则，我必须返回供应商并要求解释差异。

我正在尝试在 SSIS 中自动执行此操作，但不确定如何执行 QC 部分。有什么建议么？

标签： sqlssis

Answer 1

我推荐的单个 SSIS 包中的工作流程。

1. 截断登台表SQL Task。
2. 将传入的月度文件加载到临时表中。如果存在布局问题，则包失败DFT。
3. 将登台表与上个月负载的记录进行比较SQL Task, Expression Task。如果差异高于阈值，请通过电子邮件发送给供应商Send Email Task。我更喜欢的另一个通知选项是将记录插入错误记录表，然后使用 SSRS 发送错误通知。一般来说，我不喜欢在 SSIS 中执行非 sql 任务。
4. 将 Staging 表记录插入到最终表中DFT，并在导入日志表中插入一条记录SQL Task。