triggers - 用于触发数据更新和转换的 Linux 工具(低端 ETL/数据仓库工具)
问题描述
我有一堆脚本从互联网和本地服务收集数据,将它们写入磁盘,转换数据并将其写入数据库的脚本,从数据库读取数据并生成新数据的脚本等,用 bash、Python、SQL 编写, ... (Linux)。
除了一些时间触发的脚本之外,脚本之间的粘合剂目前是我,不时地以特定顺序运行脚本以更新所有内容。
用观察依赖关系并在满足先决条件后立即触发下一步的工具替换我的最简单方法是什么?
我找到了许多 ETL 和数据仓库工具,但对于我的简单设置来说,这些工具似乎太重了。我更喜欢具有基于文本的配置的 CLI 解决方案(也许能够可视化依赖关系图)。有什么建议么?
解决方案
尝试气流:airflow.apache.org
推荐阅读
- swift - 在 Vapor Route 中调用 3rd 方 API 失败
- c - 有些值打印了我不想要的 i (i = 0; i < 10; i++) 的额外时间。在 C 中使用 for 循环时
- php - 重新加载时保存选择值
- javascript - 上传到 S3 的图像已损坏
- java - 如何在 IntelliJ IDEA 2019.2 中启用分析工具
- javascript - 警报消息框自行处理而不是单击“确定”按钮
- postgresql - 在 Postgres 中根据另一个表过滤一个表
- javascript - 从控制器调用方法到猫鼬模式文件(Nodejs)
- javascript - 检测鼠标在图像上的位置
- xml - 如何删除从顶部节点向下 2 级的子节点