airflow - 是否有在 Airflow 部署之间共享脚本的有效方法？

Question

我们在生产中有几个天文学家气流部署。每个部署都基于其自己的 git 存储库（每个部署之间存在一些差异），但是，它们都使用一组核心 SQL 脚本。目前，如果我们需要更新其中一个核心 SQL 脚本，我们需要更新每个气流部署（非常痛苦并且容易出现复制粘贴错误）。

有没有一种方法可以有效地共享这些核心 SQL 脚本，这样我们只需要更新一个 repo 并将更改传播到所有部署？

标签： airflow

Answer 1

我们有类似的需求，我们正在对象存储中部署 SQL 脚本和其他元数据文件，因此您可以有一个单独的 CI/CD 作业将 SQL 脚本部署到 AWS S3 或 Azure Data Lake 等对象存储，并且处理系统可以读取 SQL 文件并执行。

如果 SQL 脚本有任何更改，那么我们只能将 SQL 脚本部署到对象存储。