python - 我如何从网站上抓取所有课程

Question

我想抓取此页面上的每个课程名称 [此页面][1] 这是我的代码

URL = 'https://www.bachelorsportal.com/search/bachelors-degrees/computer-science-it/#q=di-24|lv-bachelor?'
page = requests.get(URL)
soup = BeautifulSoup(page.content, 'html.parser')

results = soup.findAll(class_='StudyTitle')
print(results)

我得到空数组

标签： pythonweb-scrapingbeautifulsouprequest

Answer 1

@baduker 是对的，课程内容通过 JS 动态加载。查看 URL 的主请求空响应：

显而易见的解决方案是使用 selenium 的浏览器自动化（例如无头 Chrome）。

哈克

您可能会发现 XHR/Ajax 请求返回课程内容（以 json 格式）并由 Python 执行以获取内容。