python - 尝试使用 python-request 获取网页时网站给出错误页面

Question

我正在尝试从 Yahoo Finance 页面获取 HTML 代码，以便进行一些网络抓取工作并从数据等中创建表格。

问题是我尝试使用的任何网站都将我重定向到错误/机器人页面，因此我无法获取我需要的代码或实际页面，我正在使用 Pycharm Python 编辑器和request模块

import requests
from bs4 import BeautifulSoup
url = 'https://finance.yahoo.com/cryptocurrencies'
page = requests.get(url)
soup = BeautifulSoup(page.text, 'lxml')
print(soup)

我可以告诉我我在错误的页面上，因为 HTML 中有类似的内容robot，error因此我无法在我的项目中继续前进。

注意：它适用于某些网站，但对于其他一些网站，我会自动被发送到错误页面

标签： pythonhttpweb-scrapinggetpython-requests