首页 > 解决方案 > 从配置文件中选择 DAG 相关常量而不重新启动气流

问题描述

我在我的 DAG 中使用了一些常量,这些常量是从项目目录中的另一个(配置)Python 文件导入的。

设想

气流正在运行,我添加了一个新的 DAG。我正在schedule_interval从该配置文件和其他一些常量导入,我将它们传递给PythonOperator在我的 DAG 中调用的函数。我更新了代码库,因此在文件夹中添加了新的 dag,airflow_dag并且使用新常量更新了配置文件。

问题

schedule_interval不起作用,并且 dag 没有被安排。它还会为在 dag 中导入的任何其他常量引发异常(导入错误)。configuration_file.py在 web ui 中,我可以看到新的 dag,但我也可以看到一个红色标签错误,显示在实际存在时找不到常量 XYZ 。
不管我等多久,它都不会来。

糟糕的解决方案

我去重新启动气流调度程序(以及网络服务器,以防万一),一切都重新开始工作。

问题

有没有解决方案,我不必重新启动气流并更新这些东西?

注意:刷新有问题的 dag 的建议解决方案可以在没有重新启动调度程序的情况下气流加载 dags 文件对我不起作用。

标签: airflowpython-3.7airflow-scheduler

解决方案


推荐阅读