首页 > 解决方案 > 使用(当 True 时:)连接到 api

问题描述

我找到了很多关于使用 Api(youtube、BTC 和其他)抓取数据的教程。我不明白为什么人们会毫不拖延地使用这样的构造,如下所示:

while True:
    r = request(url)

对我来说,这看起来像是攻击(重载)服务器。当我从 html 网页中抓取数据时,我总是会延迟请求以避免网站禁止我或我的 IP/指纹。Api 的工作方式是否不同,或者它只是一个糟糕的实现?

谢谢!

标签: apiweb-scraping

解决方案


我认为教程可能只是想展示一个简单的问题解决方案,省略 API 请求限制(每次)之类的东西。他们不希望您提出足够多的要求被禁止。在请求之间引入延迟是一种很好的做法,尝试发现每次 API 限制是多少,并相应地分发您的请求。

让我知道这是否对您有帮助!


推荐阅读