python - 芹菜在python中有什么用?
问题描述
我对 celery 感到困惑。示例我想加载一个数据文件,没有 celery 需要 10 秒才能加载。使用 celery 将如何使用户受益?加载数据需要相同的时间吗?
解决方案
Celery 和 Huey 等类似系统旨在帮助我们分配(卸载)通常无法在单台机器上同时执行的进程数量,否则会导致性能显着下降。这里的关键词是分布式。
您提到了下载文件。如果它是您需要下载的单个文件,仅此而已,那么您不需要 Celery。更复杂的场景怎么样 - 你需要下载 100000 个文件?更复杂的情况如何——这 100000 个文件需要解析,并且解析过程是 CPU 密集型的?
此外,Celery 将帮助您重试失败的任务、记录、监控等。
推荐阅读
- cassandra - 使用插入 uo 更新 cassandra 使用相同的主键,但失败
- c++ - C++中的无序集
- sql - 如何在雪花中选择一个 csv 行的变量列作为多列?
- pandas - 编写一个函数以从数据帧中删除停用词(无 nltk)
- amazon-cloudformation - CloudFormation findInMap 返回 null
- python - 尝试在 Python/Spyder 中使用 Clifford 代数包
- java - Vaadin 14 TreeGrid - 网格不加载层次结构
- spring - 如何发送带有clientID的请求和带有flutter的secret
- elasticsearch - 弹性搜索查询帮助分页
- spring-boot - 在基本路径之外映射执行器端点