首页 > 解决方案 > 是否应该在数据仓库中自动(每天)刷新所有数据源?(天蓝色)

问题描述

嗨数据仓库专业人士,

我被一个找不到答案的问题困住了。因此,我知道如果数据管道与 SQL 数据库或 Azure 数据工厂中的标准连接器有连接,则很容易实现自动化。

但是,如果您尝试在没有 API 的情况下从 Web 平台提取数据怎么办?您是否应该总是花时间创建自动化数据管道,仅仅因为 Web 平台具有 API 并且每天自动刷新数据“很酷”?

数据仓库专家构建 CSV 到 SQL 数据库数据管道并手动刷新这些数据是否常见?(例如每周/每月)您只需将数据从 Web 平台导出,然后通过数据管道手动将其插入 SQL 数据库。

我了解这取决于您的利益相关者的需求,他们在报告中使用数据。我只是找不到有关此主题的最佳实践,并且想知道以非自动化方式手动插入数据是否不专业。

非常感谢您的时间!:) 我希望我能在这里找到一些答案。

标签: azure-sql-databaseazure-data-factoryazure-sql-data-warehouse

解决方案


推荐阅读