python - 用于具有许多任务的工作流的 apache 气流的更快替代方案

我目前使用 Apache Airflow 来运行数据聚合和 ETL 工作流。我的工作流程相当复杂，一个工作流程有 15-20 个任务并有分支。我可以将它们组合起来，但这样做会否定我使用的重试、执行计时器等功能。Airflow 运行良好，只是在执行这么多任务时速度很慢。任务之间需要很多时间。

是否有替代方案可以更快地执行任务而不会在任务之间产生间隙？如果可能的话，我还想尽量减少切换所需的工作量。

标签： pythonceleryworkflowetlairflow

我会推荐Temporal Workflow。它具有对开发人员更友好的编程模型，并且可以扩展到更大的用例数量级。它还已经用于许多公司的多个延迟敏感应用程序。

免责声明：我是 Temporal 项目的技术主管和关联公司的联合创始人/首席执行官。