celery - 通过 Apache Airflow 中的性能平衡任务分配

Question

我想根据每个工作人员的健康状况和当前负载将工作分配给 Apache Airflow 中的工作人员。类似于HAProxy leastconn的东西是我所追求的。

有没有办法让工人报告他们的负载/健康状况并相应地分配任务？我对 Dask 或 Celery 很好，但最熟悉 Celery

标签： celeryload-balancingairflowdask

Answer 1

如果您使用 Dask，它应该会自动执行此操作。Dask 调度程序负责负载平衡和节点故障转移。我希望 Celery 也会这样做，尽管我在那里不太熟悉。