python-3.x - 当我获取和抓取 url (scrapy) 时的不同响应

Question

我正在尝试抓取网站。当我使用带有 chrome 用户代理的 Scrapy shell 时，我得到的响应（html 内容）与在浏览器中查看的相同。但是，当我使用带有默认 user_agent 的 Scrapy 脚本抓取相同的链接时，它会显示我不需要的内容的不同响应。但是当我将 user_agent 更改为 shell 中使用的相同时，它显示 404 错误。请帮我。我真的很坚持。我尝试了许多用户代理。我还更改了并发请求，但没有任何效果。

标签： python-3.xweb-scrapingscrapy