celery - 如何配置气流主节点

Question

我正在尝试修改现有的气流芹菜集群，以使调度程序成为不运行作业的专用主节点。（目前，所有节点都充当工作人员；我想阻止调度程序成为工作人员。）

我将如何做到这一点？

标签： celeryairflow

Answer 1

如果您使用这种气流分布的 docker swarm 进行部署，您可以指定在哪种节点中部署每个服务。

因此，您可以强制在管理器节点中部署调度程序：

scheduler:
    image: puckel/docker-airflow:1.10.1
    deploy:
        replicas: 1
        placement:
            constraints: [node.role==manager]

工人节点中的工人服务：

worker:
    image: puckel/docker-airflow:1.10.1
    deploy:
        replicas: 3
        placement:
            constraints: [node.role==worker]