linux - Curl/Scrapy 绕过 Cloudflare 503 错误重定向

Question

我希望 Curl 在网站上等待几秒钟，然后将页面保存到文件中。或者我如何为“lynx”或“curl”设置等待时间？

当我抓取我的蜘蛛遇到的 URL 时，它们返回 503，然后重定向到下一页。我知道我们可以设置重定向 URL，但重定向 URL 和原始 URL 是相同的。

现在我可以用这个解决方案解决我的问题：对于curland lynx，我设置了一个等待时间，直到进入重定向页面。此外，我发现了主要问题：Cloudflare 向我们返回了 503 重定向，并且它违反了机器人请求。另外，我使用 fromcloudflare-scrape模块，但我有这个问题，还没有人修复它。

但我在 Google 或 Stackoverflow 上没有找到任何关于此问题的示例。

标签： linuxbashcurlscrapyweb-crawler