airflow - Airflow/Composer 推荐的文件夹结构

你们对 Composer 文件夹/目录结构有什么推荐吗？它的结构方式与我们内部 Airflow 服务器现在使用的方式不同。

基于谷歌文档：https ://cloud.google.com/composer/docs/concepts/cloud-storage ：

这是我如何组织 dags 文件夹的示例：

之前我将 key.json 文件放入文件data/夹时遇到了麻烦，并且无法使用data/文件夹中的键解析 dags。所以现在我倾向于将所有支持文件放在dags/文件夹中。

如果我将 dag 支持的文件（sql、keys、schema）放在dags/文件夹中，调度程序的性能会受到影响吗？是否有使用该文件夹的好用例data/？

如果你们可以向我展示如何构建 composer 文件夹以支持具有不同 dag、插件和支持的文件的多个项目的示例，将会很有帮助。

现在，我们只有 1 个 Github 用于整个 Airflow 文件夹。每个项目有一个单独的 git 会更好吗？

谢谢！

标签： airflowgoogle-cloud-composer

只要您放在 dags 文件夹中的文件不是.py文件，对调度程序的影响应该是相当小的；但是，您也可以将文件放在插件文件夹中，该文件夹也通过副本同步。

dags/projectA/dagA.py如果项目足够大，我会使用顶级文件夹来分隔项目（例如），甚至是单独的环境。