时间戳

首页 > 解决方案 > 美丽的汤文字返回空白

python - 美丽的汤文字返回空白

问题描述

我正在尝试抓取一个网站，但它返回空白，您能帮忙吗？我错过了什么？

import requests
from bs4 import BeautifulSoup

URL = 'https://ks.wjx.top/jq/50921280.aspx'
page = requests.get(URL)

soup = BeautifulSoup(page.content, 'html.parser')
print(soup.text)

标签： pythonbeautifulsoup

解决方案

要获得响应，请将User-Agent标头添加到requests.get()，否则，网站会认为您是机器人，并将阻止您。

import requests
from bs4 import BeautifulSoup

URL = "https://ks.wjx.top/jq/50921280.aspx"

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36"
}
page = requests.get(URL, headers=headers)

soup = BeautifulSoup(page.content, "html.parser")
print(soup.prettify())

推荐阅读