python - 如何使用 python :: style display:none 抓取隐藏的网站
问题描述
我试图抓取网站,但遇到了一个问题:网站中的数据被隐藏了,当我点击“+”号时,它显示了结果。
如何使用 python 抓取这些数据?
<tr class="ob_gDGC" style="display: none;">
解决方案
样式仅表示屏幕显示的内容而不是文档的内容,因此 display:none 不会限制您访问数据。
但是,如果您尝试访问的数据不在 dom 上,那么您就有问题了。在您单击按钮之前,在开发工具中查看该页面以查看数据是否存在。如果您单击按钮并附加子项(或 dom 节点在 google chrome 开发工具中闪烁),则您尝试抓取的网站使用 javascript dom 操作,这很难用 requests 库提取。为此,您将寻找像pyppeteer(或等效)这样的软件包。有了它,您可以获得一个网页并模拟“加号”上的点击事件,然后提取您所需的数据。
我建议您修改您的帖子以使其更清晰,并添加一个您尝试抓取的 dom 示例。
推荐阅读
- python - 在 pandas groupby 输出中包含特定列
- php - 如何从 WooCommerce 客户感谢电子邮件中删除字段(客户处理订单)
- delphi - 如何使用 DBLookupComboBox 在 Delphi 中的表单页面之间移动
- r - 错误 - cocor 中的变量必须是数字
- java - Grails Spring Security 中的 AbstractMethodError
- javascript - 如何在 node.js 中使用startsWith?
- c# - 序列化派生类时如何让xml数据合同序列化程序忽略基类属性
- c++ - mongo-cxx 驱动程序找不到 unique_ptr 的 polyfill
- r - 从浏览器的目录中查看保存的 LDAvis 图
- python - 尝试在 Python 中运行使用 Sage Math 的代码时出现 NameError 和 AttributeError