时间戳

首页 > 解决方案 > requests.get 不返回任何内容

python - requests.get 不返回任何内容

问题描述

我正在尝试使用 requests.get 检索 url

import requests
from bs4 import BeautifulSoup

baseurl = "https://www.olx.com.eg/"

headers = {
'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36'
}

r = requests.get('https://www.olx.com.eg/jobs/')
soup = BeautifulSoup(r.content, 'lxml')


product_list = soup.findAll('div',class_ = 'ads__item')

print(product_list)

但它返回一个空列表，因为它甚至不打开 URL。

这里有什么问题？

标签： pythonbeautifulsoupuser-agent

解决方案

将headers=参数添加到requests.get：

import requests
from bs4 import BeautifulSoup

baseurl = "https://www.olx.com.eg/"

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36"
}

r = requests.get("https://www.olx.com.eg/jobs/", headers=headers)
soup = BeautifulSoup(r.content, "lxml")


product_list = soup.findAll("div", class_="ads__item")

print(len(product_list))

印刷：

45

推荐阅读