python - 如何使用 scrapy 在 Reddit 中抓取无限滚动页面？

Question

如何在 Reddit 中抓取无限滚动页面并添加限制滚动？

URL: https://www.reddit.com/r/teslamotors/new/

我的目标是在首页中获取项目，但我只是得到一些项目。

我尝试的是使用开发人员工具并检查 XHR，但我得到了不同的方法并且在那里找不到页面。

这就是我用来获取项目的东西。

response.xpath("//a[@class = 'b5szba-0 fMXvWW']/@href").getall()

请帮忙 非常感谢

标签： pythonweb-scrapingscrapyreddit