python - scrapy-crawlera 是否处理 429 状态码？

Question

想知道是否有人知道在使用 scrapy 时，scrapy-crawlera 中间件是否处理 429 状态码，或者我是否需要实现自己的重试逻辑？

我似乎在任何地方都找不到它的记录

标签： pythonweb-scrapingscrapycrawlera

Answer 1

回答你的问题：不，scrapy-crawlera中间件不处理429状态，它实际上不“处理”任何状态，它只是处理 Crawlera 和 Scrapy 之间的通信。

现在， about Crawlera，他们429默认处理状态，这意味着当他们获得429响应状态时，他们会将其标记为禁止并重试相同的请求。

如果 Crawlera 在多次重试后没有成功，它将503向客户端返回一个状态（本例中为 Scrapy）。