首页 > 解决方案 > 使用 sqs 代理进行 celery 监控

问题描述

我们将 Airflow(1.10.3) 与 celery executor(4.1.1 (latentcall)) 和代理 SQS 一起使用。在调试问题时,我们尝试了 celery CLI,发现任何检查命令或监控工具都不支持 SQS 代理,例如。花。有什么方法可以监控芹菜工人的任务或事件吗?

我们已经尝试过以下诅咒监视器:

芹菜事件 -b sqs://

但它显示没有发现工人,没有选择任务。Inspect Commands 直接显示:

可用性:RabbitMQ (AMQP) 和 Redis 传输。

如果我遗漏了什么,或者是否可以使用 SQS 监控芹菜工人,请告诉我。

标签: celeryairflowamazon-sqs

解决方案


SQS 传输不提供对监控/检查的支持(这是我不使用它的主要原因)...根据最新文档,Redis 和 RabbitMQ 是唯一支持监控/检查和远程控制的代理类型。


推荐阅读