首页 > 解决方案 > cURL:从伦理的角度来看,什么通话频率是无害的?

问题描述

问题:

谁能告诉我通过 cURL 以什么频率调用某人的网站不被认为是有害的?

解释:

我正在构建一个小型网络应用程序,在其中我从客户网站获取 wordpress 帖子及其一些信息。

(!)不是作为网络爬虫,因为他们必须安装使用我的 authkey 仅提供相关信息的迷你插件。

因为页面的数量可以从 10 到 1000+ 不等。我不是一个电话就可以做到的;因此,我使用 Ajax 脚本制作了一个页面,每次调用最多可以提取 50 个页面。这个 Ajax url 调用我的 fetch.php,每次验证 url(包括标题),然后通过 cURL 获取信息。重复直到完成。

设想:

假设客户网站有 1000 个页面。所以我需要打 20 次电话(没有延迟,很可能在 30 秒内发生)。

此外,可能需要考虑这一点,因为我必须在每次调用之前验证域 URL,它也只有带有 get 标头的 cURL(作为 get_headers() 的更快替代方案)。

我相信它实际上将呼叫量翻了一番,达到 40 倍。

那么,从道德上讲,我需要延迟吗?或者这样的通话量不会被认为对客户的网站有害?

谢谢

标签: phpcurl

解决方案


这可能会有很大差异,但只要您一次一个地依次拨打电话,我看不出它即使对一个小网站也可能有害。如果你让它们同时运行,那就是另一回事了。


推荐阅读