首页 > 解决方案 > 请求模块是否不从谷歌获取完整数据(网络抓取)

问题描述

我正在尝试抓取谷歌的天气详细信息。问题是我没有从网页中获取所有信息。我应该怎么做才能获得完整的信息?我正在使用请求模块和漂亮的汤。

import requests
from bs4 import BeautifulSoup

url = "http://www.google.com/search?q=weather+in+rochester"
r = requests.get(url)
text = r.text
soup = BeautifulSoup(text, 'html.parser')
something = soup.find_all('span',{'class':'wob_t'})
temp = []
for i in range(len(something)):
    temp.append(something[i].get_text())
print(temp)

我希望能得到 7 天的温度,但我只能得到 3 天的温度,除此之外,我无法从谷歌中得到一些单词。在这个例子中,它说的是关于多云或下雪的天气,但是当我尝试时得到它不让我。当我运行程序时,我得到:

['24°C', '11 km/h', '27°C', '14°C', '28°C', '15°C', '28°C', '16°C', '28°C', '16°C']

但我应该得到8天的温度。我检查了标签,所有温度都相同 wob_t

标签: pythonweb-scrapingbeautifulsouppython-requestsgoogle-search-console

解决方案


推荐阅读