python - 如何判断网站是否阻止了我的抓取代码

Question

我正在学习网络抓取，并且我编写了一些代码，这些代码使用 Python 和 Beautiful Soup 4 从autotrader.co.uk抓取信息。有时代码会停止然后崩溃。该错误消息与应填充为空的列表有关。

崩溃后，我尝试在浏览器中手动访问该网站，但页面永远不会打开。如果我稍后再试，它会正常打开。

所以我猜该网站不喜欢我在短时间内访问它太多并暂时阻止我或类似的东西。

我的问题是，有没有办法可以明确地检查阻止我请求的网站是否是问题所在？另外，有没有办法解决这个问题？也许通过在请求之间引入延迟？

标签： pythonweb-scrapingbeautifulsoup

Answer 1

您可以查看您收到的回复：

import requests

url = 'https://www.autotrader.co.uk/'

response=requests.get(url)

print (response)

输出：

<Response [200]>

查看此处编码的响应以获取想法