时间戳

首页 > 解决方案 > 如何使用 BeautifulSoup 在页面上抓取价格数据

python - 如何使用 BeautifulSoup 在页面上抓取价格数据

问题描述

我是网络抓取的新手，无法弄清楚如何抓取下面网页中的所有价格。我试过的返回空白，任何指针都会很棒！

import bs4
import requests
from bs4 import BeautifulSoup
from urllib.request import urlopen
import pandas as pd
from datetime import datetime
from pytz import timezone
import urllib.request


url = 'https://www.remax.ca/find-real-estate'
page = urlopen(url)
soup = bs4.BeautifulSoup(page,'html.parser')
price = soup.findAll('h3', {'class' : 'price'})

标签： python

解决方案

首先，如果你使用from bs4 import BeautifulSoup，也不要使用import bs4。

二、写soup = BeautifulSoup(page,'html.parser）

然后使用price = soup.find_all('h3',{'class':'price})

在此之后，您应该在“价格”中包含所有价格，但您仍然需要改进，因为您将从 h3 中复制所有代码。

编辑

import requests
from bs4 import BeautifulSoup
from urllib.request import urlopen
from datetime import datetime
import urllib.request


url = 'https://www.remax.ca/find-real-estate'
page = urlopen(url)
soup = BeautifulSoup(page,'html.parser')
price = soup.find_all('h3', {'class' : 'price'})


for p in price:
    print(p.text)

这应该可以完成这项工作。我消除了熊猫，因为我没有安装它。

推荐阅读