python - 无法将自定义模块导入 Airflow Docker 中的 dag 脚本

Question

我在puckel/docker-airflow容器中有一个 dag，在 dag 脚本中我从另一个脚本导入了一个自定义模块：

from app_store_reviews.app_store_reviews.spiders.list_ids import ListIdsSpider

在哪里：

ListIdsSpider是list_ids.py中的一个类。就是在这个路径 = 'usr/local/airflow/dags/app_store_reviews/app_store_reviews/spiders'

但是我从气流中得到了这种错误： Broken DAG: [/usr/local/airflow/dags/reviews_analysis_dag.py] No module named 'app_store_reviews.app_store_reviews.spiders.list_ids'

我该如何解决这个问题？也许将此路径添加到PYTHONPATH？如果是这样，我如何在正在运行的容器中做到这一点？

标签： pythondockerairflow

Answer 1

您似乎在 Airflow Web UI 中看到了错误。当它扫描你的 dag 文件时，airflow-scheduler 会抛出该错误。

您需要确保您的自定义模块安装在气流调度程序环境中。