airflow - 自动扩缩 Google Cloud Composer

Question

我已经阅读了这篇Medium 文章，它是搜索自动缩放和 Cloud Composer 时的热门文章之一。它显示了一些“hacks”，您可以在 Composer 仍然配置为使用CeleryExecutor.

我还阅读了有关使用Cloud Composer 的GCP 文档KubernetesPodOperator (KPO)，并且之前已经实现过。

但是，使用KPO意味着您无法使用所有其他 Airflow Operators - 您必须每次都编写自己的容器和代码。

KubernetesExecutor似乎是最好的方法——你可以使用 Airflow Operators，并且可以启用自动缩放，因为它会为每个任务实例创建一个新的 Kubernetes Pod。

Google Cloud Composer 目前在其当前状态CeleryExecutor的Blocked Airflow Configurations中运行

Cloud Composer 将 Airflow 配置为使用 Celery 执行器进行core-executor设置。

是否会KubernetesExecutor成为 Composer 的选择？

标签： airflowgoogle-cloud-composer

Answer 1

不幸的是，您的问题还不能回答，因为没有这样做的官方计划。也就是说，如果 Cloud Composer 产品团队至少没有考虑到这一点，我会感到惊讶。
但是一旦有消息，就应该在这个Feature Request中发布。