首页 > 解决方案 > 请求过多的链接会破坏 Selenium 的网站吗

问题描述

我正在使用 selenium 开发一个 youtube 项目,我每 30 秒请求一个新链接,但是在 10 个链接之后,评论部分继续加载,并且从不加载,我检查了互联网,复制了相同的链接并将其粘贴另一个浏览器,但工作正常,所以抓取太多链接会影响网站吗?

标签: pythonselenium

解决方案


是的,它确实。

您不能继续不断地抓取网站。他们有适当的系统来检测这些类型的活动并阻止这些请求。

我建议您使用YouTube API来获取您需要的数据。


推荐阅读