python-3.x - Scrapy为某些网络返回302

Question

在某些特定网络中使用 scrapy 进行抓取时，我得到 302。它在我的办公室网络中工作，但不在我的家庭网络中。它在我的一个移动网络中工作，但在另一个移动网络中不工作（获取 302）。你们知道为什么会这样吗？

标签： python-3.xscrapyscrapy-spider

Answer 1

在不知道是哪个特定 URL 的情况下，我只能猜测那些获得 302 的 IP 地址可能已被反机器人软件解决方案标记，并被重定向到某种 CAPTCHA。

尝试使用 Splash，看看结果是否相同。