reactjs - 如何使用 selenium 刮取隐藏的 React 组件键

Question

我正在尝试使用 selenium 和 python 抓取一个基于 React 的网站，我发现虽然我可以检索 Google DevTools Inspector “看到”的所有内容，但我无法找到指向下一个的链接我需要刮的页面。我想，我可以这样做，以一种我可以单击每个按钮到下一页的方式，虽然，我有点想知道为什么 selenium 有问题是看到这个特定的键以及如何解决这个问题，因为我必须建立一个数据库，任何“额外”的请求都会成倍地增加。

Google DevTools 检查视图

如您所见，选项卡上的任何地方都没有“key”或 href 类，但如果我查看 React DevTools，它就在那里：

React DevTools 检查视图

所以我的问题是：有什么办法可以找回那些“钥匙”？

有没有更好的工具来完成这项工作？

先感谢您！

标签： reactjsseleniumweb-scraping