python - Python 请求很慢并且需要很长时间才能完成 HTTP 或 HTTPS 请求
问题描述
使用 requests 库请求 Web 资源或网站或 Web 服务时,请求需要很长时间才能完成。代码类似于以下内容:
import requests
requests.get("https://www.example.com/")
这个请求需要超过 2 分钟(正好 2 分 10 秒)才能完成!为什么这么慢,我该如何解决?
解决方案
这个问题可以有多种可能的解决方案。StackOverflow 上有很多关于这些的答案,所以我会尝试将它们全部结合起来,以节省您搜索它们的麻烦。
在我的搜索中,我发现了以下几层:
首先,尝试登录
对于许多问题,激活日志记录可以帮助您发现问题所在(来源):
import requests
import logging
import http.client
http.client.HTTPConnection.debuglevel = 1
# You must initialize logging, otherwise you'll not see debug output.
logging.basicConfig()
logging.getLogger().setLevel(logging.DEBUG)
requests_log = logging.getLogger("requests.packages.urllib3")
requests_log.setLevel(logging.DEBUG)
requests_log.propagate = True
requests.get("https://www.example.com")
如果调试输出不能帮助您解决问题,请继续阅读。
如果您只需要检查服务器是否已启动,请尝试 HEAD 或流式请求
不请求所有数据,而只发送 HEAD 请求(源)会更快:
requests.head("https://www.example.com")
有些服务器不支持这一点,那么您可以尝试流式传输响应(source):
requests.get("https://www.example.com", stream=True)
对于连续的多个请求,请尝试使用 Session
如果您连续发送多个请求,您可以使用requests.Session
. 这可以确保与服务器的连接保持打开和配置状态,并将 cookie 保留为一个很好的好处。试试这个(来源):
import requests
session = requests.Session()
for _ in range(10):
session.get("https://www.example.com")
要并行化您的请求(尝试超过 10 个请求),请使用 requests-futures
如果您一次发送大量请求,每个请求都会阻止执行。您可以使用requests-futures(来自kederrac的想法)并行化此操作:
from concurrent.futures import as_completed
from requests_futures.sessions import FuturesSession
with FuturesSession() as session:
futures = [session.get("https://www.example.com") for _ in range(10)]
for future in as_completed(futures):
response = future.result()
注意不要同时用太多请求压倒服务器。
如果这也不能解决您的问题,请继续阅读...
原因可能不在于请求,而在于服务器或您的连接
在许多情况下,原因可能在于您请求的服务器。首先,通过以相同方式请求任何其他 URL 来验证这一点:
requests.get("https://www.google.com")
如果这工作正常,您可以将精力集中在以下可能的问题上:
服务器只允许特定的用户代理字符串
服务器可能会专门阻止requests
,或者他们可能会利用白名单或其他原因。要发送更好的用户代理字符串,试试这个(source):
headers = {"User-Agent": "Mozilla/5.0 (X11; CrOS x86_64 12871.102.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.141 Safari/537.36"}
requests.get("https://www.example.com", headers=headers)
服务器速率限制你
如果这个问题只是偶尔出现,例如在几个请求之后,服务器可能会限制你的速率。检查响应以查看它是否读取了这些内容(即“达到速率限制”、“超出工作队列深度”或类似内容;来源)。
在这里,解决方案只是在请求之间等待更长的时间,例如使用time.sleep()
.
服务器响应格式不正确,导致解析问题
您可以通过不读取从服务器收到的响应来检查这一点。如果代码仍然很慢,这不是你的问题,但如果这解决了它,问题可能在于解析响应。
要解决这些问题,请尝试:
r = requests.get("https://www.example.com")
r.raw.chunked = True # Fix issue 1
r.encoding = 'utf-8' # Fix issue 2
print(response.text)
IPv6 不起作用,但 IPv4 可以
这可能是所有发现的最糟糕的问题。一个简单但奇怪的检查方法是添加一个timeout
参数,如下所示:
requests.get("https://www.example.com/", timeout=5)
如果返回成功响应,则问题应该出在 IPv6 上。原因是requests
首先尝试 IPv6 连接。当超时时,它会尝试通过 IPv4 连接。通过将超时设置为低,您可以强制它在更短的时间内切换到 IPv4。
通过使用验证,例如,wget
或curl
:
wget --inet6-only https://www.example.com -O - > /dev/null
# or
curl --ipv6 -v https://www.example.com
在这两种情况下,我们都会强制该工具通过 IPv6 连接以隔离问题。如果超时,请再次尝试强制 IPv4:
wget --inet4-only https://www.example.com -O - > /dev/null
# or
curl --ipv4 -v https://www.example.com
如果这工作正常,你已经找到了你的问题!但是你问怎么解决?
- 蛮力解决方案是完全禁用 IPv6。
- 您也可以仅为当前会话禁用 IPv6 。
- 您可能只想强制请求使用 IPv4。(在链接的答案中,您必须调整代码以始终返回
socket.AF_INET
IPv4。) - 如果你想为 SSH 解决这个问题,这里是如何为 SSH 强制 IPv4。(简而言之,添加
AddressFamily inet
到您的 SSH 配置中。) - 您可能还想检查问题是否出在您的DNS 或 TCP上。
推荐阅读
- java - 输入@Test方法时,SpringApplication日志不显示
- javascript - 未捕获的 TypeError:FormData 构造函数:参数 1 未实现接口 HTMLFormElement jquery ajax
- sql - 在 T-SQL 中找到正确的日期对并消除重叠的日期对
- excel - 带有 activex 控件复选框和自定义函数的 Excel 宏显示“#VALUE!” 错误
- python - 在国际象棋代码中找不到错误。当一块被移回时,它不会更新位置
- d3.js - 在 D3 中为悬停的子项设置以前的链接样式
- angular - 如何检查是否从 Angular 安装了应用程序
- php - 使用mysql计算trasaction wise balance
- css - 为什么CSS框改变大小时Border-Radius比率会改变
- c++ - C++ 中 MYSQL 的 mysql_ping 的任何替代方案