scrapy - Scrapy Request方法的meta-args是浅拷贝，而在scrapy_redis中Request方法的meta-args是深拷贝，为什么？

Question

标签： scrapy

Answer 1

这与使用它自己的调度程序类的事实有关，scrapy-redis该类通过 redis 序列化/反序列化所有请求，然后再将它们进一步推送到下载器（它在 redis 上保留一个队列）。没有“简单”的方法可以解决这个问题，因为它基本上是核心scrapy-redis功能。我的建议是不要将太多对运行时敏感的东西放入 meta 中，因为这在 scrapy 中通常不是最好的主意。