时间戳

首页 > 解决方案 > 使用 Python 从互联网上获取与给定关键字相关的所有 url

python - 使用 Python 从互联网上获取与给定关键字相关的所有 url

问题描述

我正在学习使用 BeautifulSoup 进行抓取。我想做的是从互联网上获取与关键字相关的所有可用网址。

有没有办法做到这一点？

标签： pythonpython-3.xweb-scraping

解决方案

您可以使用 requests python 库在 google 上搜索。安装请求pip install requests 您可以使用 google 搜索任何内容并使用 Beautifulsoup 解析结果。以下代码query在 google 上搜索，然后使用 BeautifulSoup 获取 Google 返回的 URL。

import requests
import urllib
from bs4 import BeautifulSoup

query = 'any search term'


r = requests.get('https://www.google.com/search?q={}'.format(query))
soup = BeautifulSoup(r.text, "html.parser")
links = []
for item in soup.find_all('h3', attrs={'class' : 'r'}):
    links.append(item.a['href'])

print(links)

推荐阅读