workflow - 用于管理传入文件处理的工作流平台

Question

一般来说，我有一个我希望能够监控的工作流程。工作流应该在新文件到达时或在某些预定时间开始，即我希望能够在工作流中插入新的“作业”，并通过多个不同的任务和步骤来处理文件。我希望能够监视通过任务的每个文件。每个任务的队列和分配负载可能由 Celery 管理，但也尚未决定。

我看过 Apache Airflow，据我目前了解，它更倾向于监控许多不同的工作流程，这样每个工作流程大部分都是从头到尾运行，而不是在之前的流程的开头添加新文件上一次运行结束。Cadence 工作流程似乎可以满足我的需要，但也似乎有点矫枉过正。

我并不期待这里有一个具体的最终解决方案，但我希望能提出更多这样的解决方案，我可以研究并适合上述解决方案。

标签： workflowairflowcadence-workflow

Answer 1

路易吉 - https://luigi.readthedocs.io/en/stable/

与 Airflow 相比，重量极轻且速度极快。