首页 > 解决方案 > Scrapy:重复请求 440 状态码

问题描述

如果响应状态码是 440,scrapy 有没有办法重复请求?

有时我试图抓取的服务器会响应 440 代码,而我无法抓取数据。

非常感谢!

标签: pythonrequestscrapyweb-crawler

解决方案


根据scrapy 文档,您可以添加和配置RetryMiddleware以按照您想要的方式运行。

您要更改的设置是:RETRY_TIMESRETRY_HTTP_CODES。特别是第二个默认值是:[500, 502, 503, 504, 408],所以你只需要添加440到列表中。

在此处查看有关中间件的更多详细信息


推荐阅读