airflow - 同一 GKE 集群上的多个 Airflow 设置

Question

我们目前正在考虑在同一个 GKE 集群上设置多个 Airflow 堆栈，但在不同的命名空间中（以节省成本）来运行 DBT 作业。

其命名空间中的每个 Airflow 堆栈都将使用 RBAC 身份验证来授权最终用户运行或观察作业。

我知道这不是一个典型的用例，但另一种选择是为每条服务线配备一个单独的 Cloud Composer，这将非常昂贵。

任何帮助深表感谢 ：）

标签： airflowgoogle-kubernetes-enginegoogle-cloud-composerdbt

Answer 1

您可以按照此处给出的方式使用 KubernetesPodOperator 在同一个 GKE 集群上运行多个 Airflow DAG 1。Affinity 用于根据标签限制您的 pod 有资格安排在哪些节点上。代码在同一个链接中的 affinity{...} 内。此外，还提到您可以使用自定义命名空间。