beautifulsoup - BeautifulSoup.find_all 不返回“div”下“Inspect”显示的类
问题描述
目标:作为工作网站抓取的一部分,将所有工作记录作为一个集合进行查询。
步骤:有100条工作记录,在谷歌浏览器中使用“检查”,当“检查”单个工作记录时,显示如下。
<div class="coveo-list-layout CoveoResult">
<div class="coveo-result-frame item-wrap">
<div class="content-main">
<div class="coveo-result-cell content-wrap">
问题:下面的代码没有返回计数为 100,它只是 0。上面提到的所有类都在 find_all 中使用,但它没有返回 100 条记录。附加了“检查”的片段以显示与单个记录关联的类。检查单个作业记录的输出:
response = requests.get(url)
print(response)
<Response [200]>
response.reason
'OK'
soup = BeautifulSoup(response.text, 'html.parser')
cards = soup.find_all('div','content-list-layout CoveoResult')
len(cards)
0
cards = soup.find_all('div')
len(cards)
86
代码尝试如下:它们都不起作用
cards = soup.find_all('div','content-list-layout CoveoResult')
cards = soup.find_all('div','content-list-layout')
cards = soup.find_all('div','coveo-result-frame item-wrap')
cards = soup.find_all('div','coveo-result-frame')
cards = soup.find_all('div','content-main')
cards = soup.find_all('div','coveo-result-cell content-wrap')
cards = soup.find_all('div','coveo-result-cell')
后续步骤:在查找与单个记录关联的类方面需要帮助。作为调试,我生成了“cards = soup.
解决方案
推荐阅读
- nlp - 如何正确使用 LUIS ML 功能?
- testing - 赛普拉斯:比较两列:列值和日期值
- r - 使用 if_else 或 case_when 语句过滤表以在 R 中查找单行
- javascript - 在 Chrome 扩展程序中使用 ffmpeg.wasm 时出现意外异常
- postgresql - 使用继承创建的外部表卡住
- spring - Hiberatne 尝试为查看实体创建表
- r - 如何基于 R 中分组数据集中的二进制变量创建新变量?
- nginx - Nginx RTMP 分段文件名和时间戳
- reactjs - 强制在开发模式下做出本机反应以重新加载特定文件而不重置所有缓存
- android - Ionic Cordova Android 应用程序如何发布到华为应用程序库?