python - 从列表创建任务 - Airflow

Question

我有一个要求，我有一个列表列表，例如

[[a,b,c,d],[e,f,g,h],[i,j,k,l]]

现在我想在 DAG 中创建任务，如下所示

a >> b >> c >> d

e >> f >> g >> h

i >> j >> k >> l

任何帮助表示赞赏。

标签： pythonlistairflowairflow-schedulerdirected-acyclic-graphs

Answer 1

您可以使用方便的chain()功能在 1 行中执行此操作。

from airflow.models.baseoperator import chain

[a,b,c,d,e,f,g,h,i,j,k,l] = [DummyOperator(task_id=f"{i}") for i in "abcdefghijkl"]
chain([a,e,i], [b,f,j], [c,g,k], [d,h,l])