php - Google Scholar 检测到我想用 PHP 中的 curl 抓取它

Question

我正在尝试在 PHP 中使用 curl 来抓取 Google Scholar。我已经为 curl 定义了一个用户代理，并且通过创建一个 cookie 目录启用了 CURLOPT_COOKIEFILE 和 CURLOPT_COOKIEJAR。然而，谷歌会自动检测到我正在抓取它。我认为这可能是因为 curl 无法解析 JavaScript 代码，但我不确定。

是否可以在 PHP 中使用 curl 抓取 Google Scholar？我需要使用无头浏览器吗？如果是，我如何配置无头浏览器以在 PHP 中使用 curl？我可以在 PHP 旁边使用不同的编程语言并以某种方式使它们一起工作以向用户提供图形输出吗？

提前致谢

标签： phpcurlweb-scrapinggoogle-scholar