时间戳

首页 > 解决方案 > 在寻找元素方面使用 Selenium 和 Beautiful Soup

python - 在寻找元素方面使用 Selenium 和 Beautiful Soup

问题描述

总的来说，我对网络抓取和数据科学还很陌生。根据各种消息来源，beautifulsoup 在网页抓取方面比 selenium 更快。我正在编写一些通过社交媒体评论爬行的代码。我正在使用 Selenium 自动单击检索旧评论的按钮并使用

driver.find_element_by_xpath()

我知道 beautifulsoup 没有允许我直接输入 xpath 来查找元素的功能。

在这种情况下，我是否应该放弃对使用 xpath 的依赖，并尝试使用可以被漂亮汤使用的选择器来更舒服？

尽管我只处理了大约 120 条评论，但我现在的代码感觉非常笨重并且需要几分钟时间。

抱歉，如果以前有人问过这个问题；我无法在网站上找到它。谢谢！

标签： pythonpython-3.xseleniumbeautifulsoup

解决方案

听起来您的代码运行良好。不知道你在找什么很难说，但是使用 requests 和 beautifulsoup 是很常见的

这是很好的指导 https://www.digitalocean.com/community/tutorials/how-to-work-with-web-data-using-requests-and-beautiful-soup-with-python-3

你会喜欢汤中的 CSS 选择器

for cell in soup.select('table#foobar td.empformbody'):
    # your code

推荐阅读