python - 使用 ratemyprofessor 的加载更多按钮刮取数据

Question

当我尝试从 ratemyprofessor.com ( http://www.ratemyprofessors.com/ShowRatings.jsp?tid=860968# ) 抓取评论文本时遇到了问题。我目前正在使用 BeautifulSoup 和请求。

我很想得到所有的评论内容，而点击“加载更多”后的数据是无法访问的。我尝试了在 StackOverflow 和 Reddit 上发布的不同方式，不幸的是，它们都不适合我。

正在检查的加载更多按钮：onclick="javascript:mtvn.btg.Controller.sendLinkEvent({ linkName:'PROF:LoadMore', linkType:'o' } );"

如果有人能帮助我解决这个问题，我将不胜感激。谢谢你。

标签： pythonweb-scrapingbeautifulsoup

Answer 1

这似乎是一个 JS 网站。我认为你需要使用像 Selenium 这样的东西来刮这个。通过使用 Selenium，您可以指示 Web 浏览器滚动到最后并以这种方式捕获您正在寻找的所有数据。