scrapy - Scrapy - 每个进程/作业的项目管道类的新实例?
问题描述
我使用 Scrapyd 来安排和启动蜘蛛作业。
在项目管道类中,我将作业特定变量设置到类中,其他蜘蛛/作业不应共享这些变量。
所以我的问题是,Scrapy/Scrapyd 是否为每个蜘蛛作业/进程创建管道类的新实例?
解决方案
Scrapy/Scrapyd 为每个作业/流程创建管道、中间件等的新实例。
但是,在某些情况下,您的管道不能有静态(或每个类变量)数据可以通过python 类变量从其他蜘蛛访问。
推荐阅读
- sql-server - 将列字符串数据分成多列 SQL
- laravel - 如何使用从 php 发送的变量到 vue.js
- c# - 如何使用枚举使用下拉列表存储表单中的数据
- angular - Angular - 使用 2 种不同的 http get 方法获取嵌套结果,最后一个使用第一个数据
- xamarin - 在 Xamarin 表单中展开 ListView
- django - 在 views.py 文件中使用 SMTP 时,它显示 CSRF 令牌错误。我已将 EMAIL_USE_TLS 启用为 true
- c++ - 如何在 libexif 中保存 char* 标签值
- android - 尽管对象存在 Kotlin\Room,但 SELECT 查询返回 null
- android - 变量未在侦听器内设置?
- java - Intellij 和堆大小最小的问题