azure-sql-database - 在 Azure sql 中引入和处理数据的选项

Question

我需要专家对我正在进行的项目的意见。我们目前使用调用存储过程的本地脚本获取加载到 Azure sql 数据库中的数据文件。我计划用 ssis 作业替换脚本以将数据加载到我们的 Azure Sql 中，但想知道这是否是一个不错的选择，因为我们需要。我也愿意接受不同的建议。我们经历的过程是将数据文件加载到临时表并在更新实时表之前进行验证。验证和更新是通过调用存储过程来完成的……所以 ssis 包只会加载数据并调用这些存储过程。我看过 ADF IR 和 Databricks，但它们似乎有些矫枉过正，但也乐于听取有使用这些经验的人的意见。我目前也在本地运行 ssis 包。对这种情况下更好的架构或工具有什么建议吗？谢谢！

标签： azure-sql-databaseetldata-processing

Answer 1

我肯定会看看 Azure 数据工厂数据流。有了这个，你可以在 Azure 数据工厂 GUI 中轻松构建 ETL 管道。

在以下示例中，读取、连接 Blob 存储中的两个文本文件，添加代理键，最后将数据加载到 Azure Synapse Analytics（对于 Azure SQL 将是相同的）：

您最终将这个映射数据流放入管道并可以触发它，例如，如果有新数据到达。