sql-server - 构建数据导入系统
问题描述
我的任务是创建一个 ETL 系统，以从我们 100 多个客户中的任何一个获取输入，并将数据导入我们的实时数据库。
我计划使用 SSIS 以客户提供的形式将数据导入表中，然后我的计划是创建配置表来过滤、转换和映射数据到系统中。一旦数据在导入表中，我计划使用存储所有配置的表来生成动态 SQL，然后使用详细的时间日志记录进行导入，是否导入了行，如果没有导入，则更改配置等。
实施该系统的主要原因是：
- 导入过程将通过配置表进行自我记录
- 如果文件中的某些数据存在问题，我们可以保留记录，但仍会处理其余数据
- 可以记录和控制对导入过程的更改
- 可以在可用期间对实时系统的导入进行排队和处理。
我的问题是我们是否在重新发明轮子？是否已经有满足所有这些需求的现有产品。