时间戳

首页 > 解决方案 > requests.get 上的问题（使用 python 3.8），甚至设置 verify=False

python - requests.get 上的问题（使用 python 3.8），甚至设置 verify=False

问题描述

import os, sys

from bs4 import BeautifulSoup

import requests

headers = {
    'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) \
     AppleWebKit/605.1.15 (KHTML, like Gecko) \
     Chrome/92.0.4515.131 Safari/605.1.15"
}

BRCO11_02 = 'https://fnet.bmfbovespa.com.br/fnet/publico/exibirDocumento?id=195321&cvm=true'

cont = requests.get(BRCO11_02, headers=headers, verify=False)

soup = BeautifulSoup(cont.content, 'html.parser')

print(soup)

标签： pythonbeautifulsouppython-requests

解决方案

设置Accept: text/html标头，指示网络服务器返回 HTML 文档：

headers = {
    'User-Agent':
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/605.1.15",
    "Accept": "text/html"
}

BRCO11_02 = 'https://fnet.bmfbovespa.com.br/fnet/publico/exibirDocumento?id=195321&cvm=true'

cont = requests.get(BRCO11_02, headers=headers, verify=False)

print(cont.content)

出去：

<html>\n<head>\n<META http-equiv="Content-Type" content="text/html; charset=UTF-8">\n<title>ANEXO 39-I : Informe Mensal</title>...

推荐阅读