python - 请求模块是否不从谷歌获取完整数据(网络抓取)
问题描述
我正在尝试抓取谷歌的天气详细信息。问题是我没有从网页中获取所有信息。我应该怎么做才能获得完整的信息?我正在使用请求模块和漂亮的汤。
import requests
from bs4 import BeautifulSoup
url = "http://www.google.com/search?q=weather+in+rochester"
r = requests.get(url)
text = r.text
soup = BeautifulSoup(text, 'html.parser')
something = soup.find_all('span',{'class':'wob_t'})
temp = []
for i in range(len(something)):
temp.append(something[i].get_text())
print(temp)
我希望能得到 7 天的温度,但我只能得到 3 天的温度,除此之外,我无法从谷歌中得到一些单词。在这个例子中,它说的是关于多云或下雪的天气,但是当我尝试时得到它不让我。当我运行程序时,我得到:
['24°C', '11 km/h', '27°C', '14°C', '28°C', '15°C', '28°C', '16°C', '28°C', '16°C']
但我应该得到8天的温度。我检查了标签,所有温度都相同 wob_t
解决方案
推荐阅读
- json - 响应有 JSON Parse 错误:Unrecognized token \'?\'
- java - 如何提高android中输入命令的速度?
- unity3d - 光线投射在运动物体上的准确性
- python - MovieWriter imagemagick 不可用
- php - 使用 PHP 和 SQL 在 highstock 烛台图表中未显示 JSON 数据
- c++ - 编译器生成的默认构造函数是否会将 std::array 中的指针初始化为 nullptr?
- angular - How to set row id in Angular-7 data-table?
- php - 如果单击提交按钮,则更新 php 代码中变量的值
- sdk - 基本 Orion 功能和 IPAM 之间是否存在正式联系
- java - 为什么Java没有在第二个场景中显示按钮