airflow - 最佳数据管道框架
问题描述
符合以下要求的最佳数据管道框架是什么?:
- 开源/免费使用
- 需要使用 Python 创建数据管道(应该支持 Geopandas、Pandas、Numpy,...)
- 支持手动和时间触发的管道
- 非技术用户可以在其中启动管道(订单数据)的 Web 界面。必须可以使用需要在运行时定义的变量。
- 支持在单个 Docker 容器中运行管道的能力
- 与源代码控制 (GIT) 集成。即从 GIT 下载最新的日期管道
我已经调查过 Apache Airflow,但想知道市场上是否有更好的替代方案,它支持上面定义的要求 :)
解决方案
推荐阅读
- reactjs - 我找不到在指定主机上运行的 docker 容器
- mysql - 如何处理 MySQL 节点查询?
- vue.js - 如何为 vuetify v-select 添加新选项
- java - 为什么 BigQuery 写入在 GCP Dataflow 中花费了这么多时间?
- angular - 为什么在 Angular 10 中安装 ng-bootstrap 后立即出现构建错误?
- rust - 如何展平两个结果
- javascript - 使用ajax登录时出现问题
- javascript - 仅当某些值为 true 时才运行 useEffect,但除非依赖关系发生变化,否则不要重新运行
- python - 将由不同形状的 numpy 数组组成的 numpy 数组保存到 .txt 文件
- c++ - 将 bool 变量添加到 int