首页 > 解决方案 > 在 Airflow 中具有依赖项的导入

问题描述

我在气流中为我的 dags 有一个目录结构,如下所示

dags/
    -dag1.py
    -libs/
        -depend1.py
        -depend2.py

在 dag1.py 中,我从库中导入depend1.py。然而,depend1.py 然后导入depend2.py 导致Airflow 抛出一个Broken Dag: No module named 'depend2.py'

我认为这是由于从 dags/ 开始的 PYTHONPATH 和depend1.py 中的导入导入depend2 而不是libs.depend2。

如果我切换到使用 libs.depend2 它似乎可以工作。我的问题是是否有一种替代方法可以手动更改这些文件中的每一个以从库中导入。因为依赖项有大量的文件,这些文件都相互依赖,因为它们是自动生成的用于管理自定义 XML 模式的类。

标签: pythonairflowpythonpath

解决方案


推荐阅读