python - 如何整合来自不同计算机的 celery 日志。芹菜

Question

如何在 Celery 的单个文件中获取来自不同工作人员的日志。我有 3 个运行 python 任务的工作人员和一个运行代理的主节点。我想整合来自这些工作机器的日志并将其存储在主机中。我怎样才能做到这一点？

标签： pythonflaskcelerypython-loggingcelery-log

Answer 1

我们将 AWS EC2 实例上的所有 Celery 工作人员配置为将 Celery 日志上传到 CloudWatch。这是实现您想要的一种方式。即使您不在 AWS 上，实施这种系统也不难——您所需要的只是在每台工作机器上运行的代理，该代理会定期将 Celery 日志上传到中心位置。它甚至可以是一个运行脚本的 cron 作业，为你完成这项工作。