celery - Airflow 中 Celery Executor 的代理

Question

是否可以使用以下代理而不是 Redis 或 RabbitMQ：

1. 动物园管理员
2. IBM MQ
3. 卡夫卡
4. 超高速缓存

如果是这样，我将如何使用它？

谢谢

标签： celeryairflowbroker

Answer 1

根据传输代理支持中的Celery文档， RabbitMQ和Redis功能齐全，可作为稳定的解决方案。

根据您为任何替代方案提供的列表，Zookeper也可能被用作 Airflow 中的 Celery 执行器，但仅作为具有一些功能限制的实验性选项。

您可以在此处找到 Zookeper 代理实施的安装详细信息。

使用 Python 包：

 $ pip install "celery[zookeeper]"

您可以查看源setup.py 代码中的所有可用扩展。

参考气流文档：

CeleryExecutor是您可以扩展工作人员数量的方法之一。为此，您需要设置一个 Celery 后端 （RabbitMQ，Redis，...）并更改您airflow.cfg的指向 executor 参数CeleryExecutor并提供相关的 Celery 设置。

在准备好特定的 Celery 后端之后，在airflow.cfg文件中调整适当的设置，对于任何传入的疑问，请参阅此示例。