kubernetes - Apache 气流在 AWS 中使用 kubernetes 运行 dag 运算符

我正在评估 Apache 气流在数据环境中的生产使用，我想知道使用气流是否可以在自动缩放 Kubernetes 集群上的自包含 docker 环境中运行操作员。

我找到了以下运算符：KubernetesPodOperator这似乎可以完成这项工作，但我发现的唯一示例是在 Google Cloud 上。我想在 AWS 上运行它，但是我还没有找到任何关于如何做到这一点的示例。我相信 AWS EKS 或 AWS fargate 可能符合要求，但不确定。

有气流经验的人可以告诉我这是否可能吗？我在网上查了一下，还没有发现什么清楚的。

标签： kubernetesairflowaws-fargateamazon-eks

我们一直在生产中使用 Fargate 和 Airflow，到目前为止的体验一直很好。

我们一直将它用于临时工作负载，结果证明它比拥有专用 Kubernetes 集群更便宜。此外，没有任何类型的管理开销。