时间戳

首页 > 解决方案 > ubuntu crontab 芹菜节拍

linux - ubuntu crontab 芹菜节拍

问题描述

我有几个通过节拍执行的芹菜任务。在开发中，我使用了一个命令来设置它，例如：

celery worker -A my_tasks -n XXXXX@%h -Q for_mytasks -c 1 -E -l INFO -B -s ./config/celerybeat-schedule --pidfile ./config/celerybeat.pid

在进入生产阶段时，我将其插入到激活我的 venv 的脚本中，设置 PYTHONPATH，删除旧的节拍文件，cd 到正确的目录，然后运行 ​​celery。这绝对没问题。但是，在生产中，我想将工作人员与节拍调度程序分开，例如：

celery worker -A my_tasks -n XXXXX@%h -Q for_mytasks -c 1 -E -l INFO -f ./logs/celeryworker.log
celery beat -A my_tasks -s ./config/celerybeat-schedule --pidfile ./config/celerybeat.pid -l INFO -f ./logs/celerybeat.log

现在，当放入相关的 bash 脚本时，这一切都可以正常工作。但是，我需要这些在服务器启动时运行。我遇到了几个问题：

1）在 crontab -e@reboot my_script中不起作用。我必须插入一个延迟以允许rabbitmq 完全启动，即@reboot sleep 60 && my_script。现在这对我来说似乎有点“混乱”，但我可以忍受。

2）celery worker需要几秒钟才能完成才能celery beat正常运行。我尝试了各种 cron 指令来完成在工人成功执行后运行节拍但无法让节拍运行。我目前在 crontab 中的解决方案是这样的：

@reboot sleep 60 && my_script_worker
@reboot sleep 120 && my_script_beat

所以基本上，ubuntu 启动，等待 60 秒并运行 celery worker，然后再等待 60 秒，然后再运行 celery beat。这很好用，但对我来说似乎更“混乱”。在一个理想的世界里，我想在 rabbitmq 准备好运行 worker 时标记，然后在 worker 成功执行时标记，以便我可以运行 beat。

我的问题是：有没有人遇到过这个问题，如果有的话，他们是否有更优雅的方式来启动 celery worker 并在服务器重启时击败？

编辑：24/09/2019 感谢 DejanLekic 和 Greenev

我花了几个小时从 cron 转换为 systemd。是的，我完全同意这是一个更强大的解决方案。我的 celery worker & beat 现在由 systemd 在重启时作为服务启动。

对于尝试这个的人，我有一个提示，它在 celery 文档中没有提到。celerybeat-schedule模板节拍命令将在您的工作目录中创建一个名为“芹菜节拍数据库”的文件。如果你重新启动你的 beat 服务，这个文件将导致生成虚假的 celery 任务，这些任务似乎不符合你的实际 celery 时间表。解决方法是每次beat服务启动时删除这个文件。如果存在 pid 文件，我也会删除它。我通过向节拍服务添加 2 ExecStartPre 和 -s 选项来做到这一点：

ExecStartPre=/bin/sh -c 'rm -f ${CELERYBEAT_DB_FILE}'
ExecStartPre=/bin/sh -c 'rm -f ${CELERYBEAT_PID_FILE}'
ExecStart=/bin/sh -c '${CELERY_BIN} beat  \
  -A ${CELERY_APP} --pidfile=${CELERYBEAT_PID_FILE} \
  -s ${CELERYBEAT_DB_FILE} \
  --logfile=${CELERYBEAT_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL}'

多谢你们。

标签： linuxcroncelery

解决方案

为了守护我们正在使用的 celery worker systemd，因此 worker 和 beat 可以作为单独的服务运行，并配置为通过仅使这些服务在服务器重新启动时启动enabled

推荐阅读