azure-sql-database - 是否应该在数据仓库中自动(每天)刷新所有数据源?(天蓝色)
问题描述
嗨数据仓库专业人士,
我被一个找不到答案的问题困住了。因此,我知道如果数据管道与 SQL 数据库或 Azure 数据工厂中的标准连接器有连接,则很容易实现自动化。
但是,如果您尝试在没有 API 的情况下从 Web 平台提取数据怎么办?您是否应该总是花时间创建自动化数据管道,仅仅因为 Web 平台具有 API 并且每天自动刷新数据“很酷”?
数据仓库专家构建 CSV 到 SQL 数据库数据管道并手动刷新这些数据是否常见?(例如每周/每月)您只需将数据从 Web 平台导出,然后通过数据管道手动将其插入 SQL 数据库。
我了解这取决于您的利益相关者的需求,他们在报告中使用数据。我只是找不到有关此主题的最佳实践,并且想知道以非自动化方式手动插入数据是否不专业。
非常感谢您的时间!:) 我希望我能在这里找到一些答案。
解决方案
推荐阅读
- sql - 比较 postgres 中的数组
- java - Selenium/TestBench 失败:net::ERR_CONNECTION_REFUSED
- ios - TabView 中的奇怪图像行为:图像无法缩放
- vb.net - 在 Visual basic 上保存和读取文件
- powershell - Powershell:消息框中的选择选项
- python - 无法将 bashrc 定义的参数传递给终端
- cakephp - CakePHP 在 Query 中做自动小写
- c++ - 生成和转换算法在 C++ 中不起作用
- javascript - 更新后 Eclipse Javascript 语法突出显示损坏?
- karate - 如何在 Test Suite Setup/Teardown 上执行某些操作?