python - 无法抓取类

Question

我目前正在尝试使用 python 制作一个网络爬虫。我的目标是让我的网络爬虫找到股票的名称和价格。这是我的代码：

import requests 
from bs4 import BeautifulSoup

page = requests.get('https://finance.yahoo.com/quote/MA?p=MA&.tsrc=fin-srch')
soup = BeautifulSoup(page.content, "html.parser")
stock_name = soup.find({ "class" : "D(ib) Fz(18px)"})
print(stock_name)

但是当我运行它时，我得到了这个：

C:\Users\baribal\Desktop>py web_scraper.py
None

先感谢您！

标签： pythonweb-scrapingbeautifulsouppython-requests

Answer 1

您的请求只是为您提供网页的原始 HTML。您尝试检索的元素是加载 HTML 源文本后在浏览器中呈现的 React 组件。

您需要使用像 Selenium 这样的无头浏览器。