python - 如何在 python 中使用 beautifulsoup（或任何其他刮刀）刮取检查过的元素？

Question

我正在编写一个抓取程序。我首先使用 selenium 来获取元素的源（一个 mp4 文件），然后我看到 selenium 主要用于自动化和测试，而不是抓取。我认为使用其他刮板模块会更合理。但是当我使用requests+beautifulsoup或者urllib2/3+beautifulsoup我无法获得检查元素时。他们正在获取页面源，但在我正在工作的网页中，页面源与我检查时弹出的 HTML 不同。（我不太了解检查和页面源代码之间的区别，但我想这与 JS 有关。）有什么想法可以解决这个问题吗？这是我的代码：

from  bs4 import  BeautifulSoup

import  requests

response = requests.get("https://animefrenzy.org/stream/one-piece-episode-974")

soup = BeautifulSoup(response.text,"lxml")

print(soup)

这是我想要作为字符串的 html： 检查

这是我执行上述代码时得到的结果： 终端结果

标签： pythonweb-scraping

Answer 1

如果您只想要 HTML(Source)，那么这里是获取它的代码。

from selenium import webdriver
import time

driver = webdriver.Firefox/Chrome(executable_path=r'/path/to/webdriver')

driver.get('https://animefrenzy.org/stream/one-piece-episode-974')
time.sleep(10)
html=driver.page_source
print(html)

这应该给你你想要的 HTML，我们使用time.sleep(10)是因为页面必须加载 javascript 并更改页面的内容。如果您没有获得所需的 HTML，请尝试将睡眠时间更改为更多，以便该页面将完全加载。