airflow - 在气流 DAG 中使用 DockerOperator 和 CeleryExecutor

Question

此时我将 LocalExecutor 与气流一起使用。我的 DAG 正在使用 Docker 图像和带有气流的 DockerOperator。为此，docker 图像必须存在于 PC 上。如果我想使用像 CeleryExecutor 或 KubernetesExecutor 这样的分布式执行器，docker 镜像必须存在于属于 Celery 或 Kubernetes 集群的所有机器上？

问候奥利

标签： airflow

Answer 1

那是对的。由于气流工作人员在本地运行任务，因此您需要在工作人员本地拥有 docker 映像或其他可用资源。您可以尝试此链接来设置本地 docker 注册表，该注册表可以提供 docker 图像并节省您手动维护它们的工作。