python-3.x - Python Scrapy - 尝试使用“#”分页并将我重定向到同一页面

Question

我正在为这个页面构建一个刮板， 我想在第一页工作后进入下一页，在将自动油门和下载速度设置为温和之后，我尝试使用：

next_page = response.xpath('//div[@class="global-pagination"]/a[@class="next"]/@href').get()
if next_page is not None:
    yield response.follow(next_page, self.parse)

问题是该类中的 href 是 # 并且基本上它会再次打开相同的页面。我如何使它工作？

标签： python-3.xscrapy

Answer 1

如果您查看您的浏览器开发工具，您会看到当您转到其他页面时会从loadresult加载数据。此外，通过在表单数据中搜索，您会看到一个名为page具有您请求的页面的值的字段，您可以通过在您的表单数据中更改它来请求任何其他页面FormRequest。

from scrapy.http import FormRequest

FormRequst(url=url, formdata=formdata={'page': <page number>}, callback=<parse method>)