首页 > 解决方案 > 当我在 Python 3.9 中使用 Requests 请求文档页面时,我会发出多少个 http 请求?

问题描述

我正在使用 python 脚本通过代理解析网站。所述代理实现了我可以发出多少并发请求的限制。在运行我的 python 应用程序的单个线程时,我遇到了代理提供程序速率限制我,我想知道,如果我真的在运行时发出超过 1 个请求, requests.get(url, headers=headers, proxies=proxies)这不应该只返回没有任何其他资源的文档页面吗?

标签: pythonpython-requests

解决方案


如下所示,发送了一个请求。也许正在发生的事情是您的代理提供商有一些检测机器人的机制,并且正在阻止您的脚本。

这种机制可以使用任何东西,从用户代理到数据包的发送方式。 左边是python,右边是节点服务器


推荐阅读