web-scraping - 抓取下一页，没有任何意义的结果

Question

相信你做得很好！

我正在抓取一些网页，当我尝试转到下一页时，我无法访问，因为下一页结果，与我在第一个页面中查找的内容无关。

示例：第一页查找：https ://www.mister-auto.es/buscar/?q=corteco 第二页：https ://www.mister-auto.es/buscar/?page=2

我遇到的问题是第二次的结果与我要寻找的东西没有任何意义。

我正在使用带有链接提取器的 crawlspider 去下一个。你能帮我一把吗？非常感谢您的支持。

标签： web-scrapingscrapycloudflare

Answer 1

您正在抓取的网站是动态的，当您更改页面时，它不会反映在 URL 中。

你想要的是像Puppeteer或Selenium这样的工具来动态呈现页面，点击按钮并提取你想要的内容。虽然它是某些工作的好工具，但 Scrapy 有其局限性。