时间戳

首页 > 解决方案 > 将文件标记到 Airflow，使其不会尝试将它们作为 DAG 导入

airflow - 将文件标记到 Airflow，使其不会尝试将它们作为 DAG 导入

问题描述

我有以下结构


airflow/
   |_dags/
      |_projects/
             |_utils/
             |_my_project/
                     |_tasks/
                          |_taskone.py

其中utils包含几个 utils 文件。

问题是气流尝试（仅）导入其中一个 utils 文件。我在某处读到，Airflow 将包含单词dag并且airflow在同一文件（不是文件名！）中的文件视为 DAG。

由于我的一个 utils-functionutil1有一个绝对路径，例如airflow/dags/projects/utils在其中指定，我想这就是为什么util1试图作为 DAG 导入（显然失败）。

有没有办法标记 Airflow 不尝试导入特定文件，例如util1？

标签： airflow

解决方案

您可以放置​​一个名为的文件.airflowignore并列出 Airflow 在处理 DAG 时将忽略的文件/文件夹。您可以在文档中阅读它：

您还可以在 DAG_FOLDER 或其任何子文件夹中提供一个 .airflowignore 文件，该文件描述加载程序要忽略的文件。它涵盖了它所在的目录以及它下面的所有子文件夹，并且应该是每行一个正则表达式，# 表示注释。

推荐阅读