python - 如何在 Python 中重新运行 scrapy 请求对象？

Question

我正在使用 Scrapy，在 response_is_ban 函数中，我有两个对象，一个 {Request} 对象和一个 {Response} 对象。

from scrapy.http import Request

由于某种原因，Scrapy 请求返回的结果与标准 Curl 不同。

有没有办法可以重新运行 {Request} 对象？

就像是：

response = request.get_again()

目标是弄清楚我的 Curl 函数和 Scrapy 请求对象之间究竟有什么不同，以及为什么它们会返回不同的结果。任何建议都会受到欢迎。

编辑：我的另一个问题是，Scrapy 在代码中实际执行请求的位置是什么？是否有一个 request.get() 函数可以在某个地方放置调试点？

标签： pythonrequestscrapy

Answer 1

对于调试，您可以fetch在scrapy.shell会话中使用：https ://docs.scrapy.org/en/latest/topics/shell.html#invoking-the-shell-from-spiders-to-inspect-responses