python - Celery 任务在没有 celerybeat 的情况下成功后调用自身
问题描述
我想在当前任务完成后每隔 30 分钟调用一次芹菜任务,但有时任务需要的时间比预期的要长,因为任务是从远程服务器下载文件。所以我不想使用 celeryBeat。另外,使用自我。重试仅适用于我想发生错误时。这是我的任务:
@shared_task(name="download_big", bind=True, acks_late=true, autoretry_for=(Exception, requests.exceptiosn.RequestException), retry_kwargs={"max_retries": 4, "countdown": 3}):
def download_big(self):
my_file = session.get('example.com/hello.mp4')
if my_file.status_code == requests.codes["OK"]:
open("hello.mp4", "wb").write(my_file.content)
else:
self.retry()
更新:
好吧,我将结构更改为:
@shared_task(name="download_big", bind=True, acks_late=true, autoretry_for=(Exception, requests.exceptiosn.RequestException), retry_kwargs={"max_retries": 4, "countdown": 3}):
def download_big(url):
my_file = session.get(url, name)
if my_file.status_code == requests.codes["OK"]:
open(name, "wb").write(my_file.content)
else:
self.retry()
@shared_task(name="download_all", bind=True, acks_late=true, autoretry_for=(Exception, requests.exceptiosn.RequestException), retry_kwargs={"max_retries": 4, "countdown": 3}):
def download_all(self):
my_list = [...] # bunch of urls with names
jobs = []
for name, url in my_list:
jobs.append(download_big.si(url, name))
group(jobs)()
所以在这种情况下,我必须调用 download_all 方法而不是 download_big,这样我可以并行下载文件,当所有组任务完成后,它需要在 30 分钟后再次调用自身。
解决方案
您可以尝试使用一个chord来运行一组任务,当它们完成时,将运行一个回调,您可以使用它来重新安排。
例如
from celery import chord
@shared_task(name="download_big", bind=True, acks_late=true, autoretry_for=(Exception, requests.exceptiosn.RequestException), retry_kwargs={"max_retries": 4, "countdown": 3}):
def download_big(url):
my_file = session.get(url, name)
if my_file.status_code == requests.codes["OK"]:
open(name, "wb").write(my_file.content)
else:
self.retry()
@shared_task(name="download_all", bind=True, acks_late=true, autoretry_for=(Exception, requests.exceptiosn.RequestException), retry_kwargs={"max_retries": 4, "countdown": 3}):
def download_all(self):
my_list = [...] # bunch of urls with names
jobs = []
for name, url in my_list:
jobs.append(download_big.si(url, name))
# Run the group and reschedule once all tasks complete
chord(jobs)(download_all.apply_async(countdown=1800))
推荐阅读
- c# - C# 中的 -= 运算符
- javascript - JavaScript 在控制台中更改构造函数名称
- prestashop-1.7 - 为生日表单覆盖 CustomerFormatter.php
- tensorflow - TypeError: __init__() 得到了一个意外的关键字参数“重复”
- jquery - 产品 ID 从 ajax 传递到 servlet,但不知何故值为 null
- android - Firebase 数据上传
- javascript - Ramda,无论顺序如何,数组相等
- php - 防止在laravel中多次打开同一个窗口
- javascript - 我的淡出功能(动画)不起作用
- regex - 飞镖正则表达式删除空间电话