首页 > 解决方案 > BeautifulSoup.find_all 不返回“div”下“Inspect”显示的类

问题描述

目标:作为工作网站抓取的一部分,将所有工作记录作为一个集合进行查询。

步骤:有100条工作记录,在谷歌浏览器中使用“检查”,当“检查”单个工作记录时,显示如下。

<div class="coveo-list-layout CoveoResult">
    <div class="coveo-result-frame item-wrap">
        <div class="content-main">
            <div class="coveo-result-cell content-wrap">

问题:下面的代码没有返回计数为 100,它只是 0。上面提到的所有类都在 find_all 中使用,但它没有返回 100 条记录。附加了“检查”的片段以显示与单个记录关联的类。检查单个作业记录的输出:
对单个作业记录的检查输出

response = requests.get(url)
print(response)
<Response [200]>
response.reason
'OK'
soup = BeautifulSoup(response.text, 'html.parser')
cards = soup.find_all('div','content-list-layout CoveoResult')
len(cards)
0
cards = soup.find_all('div')
len(cards)
86

代码尝试如下:它们都不起作用

cards = soup.find_all('div','content-list-layout CoveoResult')
cards = soup.find_all('div','content-list-layout')
cards = soup.find_all('div','coveo-result-frame item-wrap')
cards = soup.find_all('div','coveo-result-frame')
cards = soup.find_all('div','content-main')
cards = soup.find_all('div','coveo-result-cell content-wrap')    
cards = soup.find_all('div','coveo-result-cell')

后续步骤:在查找与单个记录关联的类方面需要帮助。作为调试,我生成了“cards = soup.

标签: beautifulsoup

解决方案


推荐阅读