python - 当元素确实存在时，BeautifulSoup 返回“无”

Question

首先，如果我遗漏了一些超级简单的东西，我深表歉意，我已经查看了很多问题，但终生无法找到。

基本上，我试图收集文本的网站在这里：

https://www.otcmarkets.com/stock/MNGG/overview

我想从“黑暗或失效”一侧提取信息，我当前的代码如下：

url = 'https://www.otcmarkets.com/stock/MNGG/overview'
page = requests.get(url)
soup = BeautifulSoup(page.content, "html.parser")
ticker = soup.find('href', 'Dark or Defunct')

但正如标题所说，它只是不返回任何内容。我哪里错了？我很缺乏经验，所以如果可能的话，我很想解释一下。

标签： pythonbeautifulsoup

Answer 1

它没有返回，因为在 HTML 页面源代码中没有提及它。该网站上的所有内容都是从 JavaScript 源动态加载的。BeautifulSoup 旨在从 HTML 和 XML 文件中提取数据，并且在提供的 HTML 文件中，没有提到“Dark or Darker”（因此 BeautifulSoup 正确地找不到任何东西）。您需要使用支持 JavaScript 的抓取方法。请参阅使用 Python 抓取 Web 抓取 JavaScript 页面。