airflow - 气流创建 dag api 或函数

Question

是否有任何 API 或功能可以按需在气流中创建 DAG？我们在 DagBag 文件夹中有上千个 DAG，调度程序需要大量时间来扫描，因此性能正在下降。我们已将扫描 DagBag 文件夹的时间增加到 1 天以控制此行为，但创建的每个新 DAG 都需要重新启动调度程序，我们希望避免这种情况。请指教。

标签： airflowairflow-scheduler

Answer 1

您可能可以执行以下操作：

• 将 dags 中的所有核心逻辑移至可调用函数
• 并有一个通用的 Dag，它将调用那些保存您的核心逻辑并在给定的特定时间执行的函数

您需要将核心功能列表和执行时间保存在某处（可以是数据库或您可以读取的某些文件）

这将是在气流之上有一个小时间表的情况，这是多余的，因为气流为您做同样的事情，但我认为您拥有的用例将从中受益。