python - 是否有可能从硒变成beautifulsoup？

Question

我想抓取一个网站。我必须使用 selenium 来传递登录表单，并且我在问自己，既然我已经使用了 selenium，是否有办法使用 beautifulSoup 来抓取网站？

标签： pythonseleniumbeautifulsoup

Answer 1

简单的组合

from bs4 import BeautifulSoup as soup
from selenium import webdriver

url = "url"

browser = webdriver.Firefox()
browser.get(url)
# login/scroll/etc 

full_page = browser.page_source
page_soup = soup(full_page, "html.parser")
# parse/find