python - 为什么 Beautifulsoup 中的 select_one 函数返回 None 值
问题描述
我正在使用 python 3 和 Beautifulsoup
我的以下代码返回一个无值列表
import bs4 as bs
import urllib.request
import pandas as pd
from requests_html import HTMLSession
review_dict = {'review':[], 'author':[]}
page = 1
while page != 10:
session = HTMLSession()
url = 'https://www.goodreads.com/book/show/2932708?from_search=true&from_srp=true&qid=OOQwYQkG9A&rank=1' + str(++page)
grURL = session.get(url)
soup = bs.BeautifulSoup(grURL.content, 'html.parser')
prod_containers = soup.find('div', id = 'lazy_loadable_view')
firstelement = prod_containers.find_all('div', attrs={'class': 'left bodycol'})
for rows in firstelement:
review = rows.select_one('p > div.reviewText stacked > span.readable > span')
author = rows.select_one('p > div.reviewHeader uitext stacked > span > a[title]')
review_dict['review'].append(review)
review_dict['author'].append(author)
if page == 10:
break
page += 1
sword_reviews = pd.DataFrame(review_dict)
sword_reviews
当我使用.text
功能木星笔记本给我这个错误:
AttributeError: 'NoneType' object has no attribute 'text'
如何调整我的代码以正确抓取评论和评论者姓名?
解决方案
要获取您想要的数据,您需要更改select_one
. 用“。”加入多个班级。
试试这个代码:
import bs4 as bs
import urllib.request
import pandas as pd
from requests_html import HTMLSession
review_dict = {'review':[], 'author':[]}
page = 1
while page != 10:
session = HTMLSession()
url = 'https://www.goodreads.com/book/show/2932708?from_search=true&from_srp=true&qid=OOQwYQkG9A&rank=1' + str(++page)
grURL = session.get(url)
soup = bs.BeautifulSoup(grURL.content, 'html.parser')
prod_containers = soup.find('div', id = 'lazy_loadable_view')
firstelement = prod_containers.find_all('div', attrs={'class': 'left bodycol'})
for rows in firstelement:
review = rows.select_one('div.reviewText.stacked > span.readable > span')
author = rows.select_one('div.reviewHeader.uitext.stacked > span > a[title]')
review_dict['review'].append(review)
review_dict['author'].append(author)
if page == 10:
break
page += 1
sword_reviews = pd.DataFrame(review_dict)
print(sword_reviews)
推荐阅读
- python - 使用 Python Socket 连接 AWS EC2 实例
- c# - 没有数组名称的 JSON 数组进入属性
- sql - Google BigQuery GROUP BY 要求提供不需要的列
- excel - 根据另一列的行数对列进行编号
- visual-studio-code - VSCode VIM中的命令悬停工具提示而不使用鼠标
- azure-cli - 有没有办法使用 az acr build 指定隔离模式?
- go - 为什么 Golang GORM 挂钩 BeforeUpdate,AfterUpdate 不触发?
- javascript - 代码未禁用表上正确的列行
- android - Android TTS 中的 SSML 支持?
- node.js - Rabbit Mq 与 Nodejs 微服务之间的通信