首页 > 解决方案 > 用于触发数据更新和转换的 Linux 工具(低端 ETL/数据仓库工具)

问题描述

我有一堆脚本从互联网和本地服务收集数据,将它们写入磁盘,转换数据并将其写入数据库的脚本,从数据库读取数据并生成新数据的脚本等,用 bash、Python、SQL 编写, ... (Linux)。

除了一些时间触发的脚本之外,脚本之间的粘合剂目前是我,不时地以特定顺序运行脚本以更新所有内容。

用观察依赖关系并在满足先决条件后立即触发下一步的工具替换我的最简单方法是什么?

我找到了许多 ETL 和数据仓库工具,但对于我的简单设置来说,这些工具似乎太重了。我更喜欢具有基于文本的配置的 CLI 解决方案(也许能够可视化依赖关系图)。有什么建议么?

标签: triggersdependenciesetldata-warehouse

解决方案


尝试气流:airflow.apache.org


推荐阅读