hadoop - 在气流中重用任务

Question

我正在尝试使用气流来编排我的一些数据管道。每个摄取管道都有多个任务。这些任务在多个摄取管道中重复。如何在气流中跨 DAGS 重用任务？

标签： hadoopmachine-learningbigdataairfloworchestration

Answer 1

• 就像objecta 的一个实例class一样，Airflow任务是一个Operator（严格来说，BaseOperator）
• 因此，编写一个“可重用”（又名通用）运算符，并通过传递不同的参数（特别是task_id）在您的管道中使用它 100 次