python-3.x - requests_html 渲染方法继续导致超时
问题描述
我不确定它是否是我的计算机的设置(Windows 7,Python3.8,刚刚安装了 requests_html),但无论我选择哪个站点,该render
方法都导致timeout error
我玩弄了 timeout 参数,但没有运气.
import os
import sys
import requests_html
import requests
import pyppeteer
def get_request(url, render = False):
session = requests_html.HTMLSession()
res = session.get(url)
try:
res.raise_for_status()
except ValueError as e:
raise('Dead link')
if render:
res.html.render(sleep = 2, timeout = 20)
return res, session
def test_render():
url = 'https://www.yahoo.com/'
res, session = get_request(url, render = True)
解决方案
我已经尝试过了,它非常有效:
import os
import sys
import requests_html
import requests
import pyppeteer
def get_request(url, render = False):
session = requests_html.HTMLSession()
res = session.get(url)
try:
res.raise_for_status()
except ValueError as e:
raise('Dead link')
if render:
res.html.render(sleep = 2, timeout = 20)
return res, session
def test_render():
url = 'https://www.yahoo.com/'
res, session = get_request(url, render = True)
#test_render()
[res, session]= get_request('https://www.yahoo.com/', render=True)
print(res.text)
检查您的设置,因为我没有更改刚刚调试的任何内容
推荐阅读
- swift - Xcode,无法运行 didBegin(_contact SKPysics) 函数
- ios - WKWebView 不显示字体提供程序应用程序安装的字体
- firebase - 应用程序 ID 已更改,但 firebase 仍在工作
- transformation - 数据编织 2.0 转换
- java - Java如何将zip文件转换为带有文件夹和文件的常规java.io.File
- entity-framework - 如何使用实体框架过滤记录并在数据表中显示
- javascript - 为什么console.log中不会发生变量提升
- python - 为什么函数执行时间为零秒
- python - 高效计算 len(str(x)) 和 len(repr(x))
- asp.net-core - 在 ASP.NET Core 中从贝宝执行付款时出现 INTERNAL_SERVICE_ERROR