php - cURL:从伦理的角度来看,什么通话频率是无害的?
问题描述
问题:
谁能告诉我通过 cURL 以什么频率调用某人的网站不被认为是有害的?
解释:
我正在构建一个小型网络应用程序,在其中我从客户网站获取 wordpress 帖子及其一些信息。
(!)不是作为网络爬虫,因为他们必须安装使用我的 authkey 仅提供相关信息的迷你插件。
因为页面的数量可以从 10 到 1000+ 不等。我不是一个电话就可以做到的;因此,我使用 Ajax 脚本制作了一个页面,每次调用最多可以提取 50 个页面。这个 Ajax url 调用我的 fetch.php,每次验证 url(包括标题),然后通过 cURL 获取信息。重复直到完成。
设想:
假设客户网站有 1000 个页面。所以我需要打 20 次电话(没有延迟,很可能在 30 秒内发生)。
此外,可能需要考虑这一点,因为我必须在每次调用之前验证域 URL,它也只有带有 get 标头的 cURL(作为 get_headers() 的更快替代方案)。
我相信它实际上将呼叫量翻了一番,达到 40 倍。
那么,从道德上讲,我需要延迟吗?或者这样的通话量不会被认为对客户的网站有害?
谢谢
解决方案
这可能会有很大差异,但只要您一次一个地依次拨打电话,我看不出它即使对一个小网站也可能有害。如果你让它们同时运行,那就是另一回事了。