symfony - JS注入后的PHP抓取页面

Question

我在使用GoutteSymfony 5 抓取网站时遇到问题，www.supercars.com. 问题是我需要抓取的数据是通过 JavaScript 注入的。问题是从返回的数据$crawler = $client->request('GET', 'https://www.supercars.com/');仅返回在被 JavaScript 覆盖之前具有虚拟数据的页面源。我如何让他们的 JS 在返回 DOM 之前运行？如果没有，我将如何通过不同的插件来做到这一点？

标签： symfonyweb-scraping

Answer 1

您需要使用将加载和执行 javascript 的无头浏览器。你有很多选择。硒很受欢迎。