python - Cloudflare 保护错误 503 - “检查您的浏览器”

Question

我制作了一个脚本来从受 cloudflare 保护的网页中抓取数据。我从这个网站上抓取了大约 25k 个链接，脚本运行良好。我已经能够从该网站提取所有链接，现在想从这些链接中抓取信息。早些时候该脚本运行良好，但由于网站最近的安全更新，我收到了请求库的错误 503 和 selenium 的“检查您的浏览器”网页。有没有办法绕过它？

我也订阅了scraper api 来使用代理和使用“scraper_api”库来发出请求。

我正在分享一些需要删除但出现这些错误的链接：https : //coinatmradar.com/bitcoin_atm/31285/bitcoin-atm-general-bytes-birmingham-altadena-spirits/ https://coinatmradar.com /bitcoin_atm/23676/bitcoin-atm-general-bytes-birmingham-marathon-gas/

已经尝试过其他方法，如 cfscraper、cloud scraper、未检测到的 chromedriver，但没有运气。请尝试抓取任何其他链接并分享任何解决方案。谢谢

标签： pythonselenium-webdriverpython-requestscloudflare