python-3.x - 不支持获取直通 GL 已禁用，即使已启用；无法运行网页抓取 python 脚本

Question

使用 Chrome 和 ChromeDriver 运行 python 脚本进行网络抓取。脚本运行，我可以看到它正在查询网站，但是一旦完成它就会失败。该脚本最终创建了 CSV 文件，但它是空的，没有网络抓取数据。

不支持继续获取直通 GL 已禁用，即使我启用了它。我使用以下堆栈溢出步骤来确保启用 GL：第二个堆栈溢出答案。WebGL 不存在作为启用的选项，因此我启用了 WebGL Draft Extensions。随着 Passthrough 错误...间歇性地得到握手错误。

我已确保我的 Chrome 驱动程序和 Chrome 是相同的版本。我安装了旧版本的 Chrome 和旧版本的 Chrome 驱动程序，但它不起作用。不知道还能尝试什么。

标签： python-3.xgoogle-chromeweb-scrapingselenium-chromedriver

Answer 1

我正在使用 Selenium 进行一个项目，其中我的程序遍历网站的所有元素（图像）并同时下载它们。一切正常，但在特定搜索查询的同一网站上，该程序运行不正常。它过去每次遇到特定元素时都会卡住，并且Passthrough is not supported GL is disabled, Angle is曾经出现相同的错误。我尝试了另一个堆栈溢出问题中提供的解决方案，但没有奏效。在遵循了许多方法之后，我最终得到了这个解决方案： -

header = {'User-Agent': 'Chrome/97.0.4692.71'}
response = requests.get(url,headers=header)

问题实际上发生在request.get()方法中。

使固定

只需创建上面创建的字典并在其中添加您的“浏览器名称/版本”，您就很清楚了。

我希望它也对你有用。