python - Python请求未返回整页内容
问题描述
目前我正在开发一个 Python 程序,使用 Python 脚本从 sec.gov 中提取 EDGAR 数据。我试图从中提取数据的页面是这个。
在我看来,此页面上的数据是静态的,这就是我尝试使用 Beautiful Soup 和 Python Requests 模块来提取数据的原因。这是我的脚本:
import requests
from bs4 import BeautifulSoup
from faker import Faker
fake = Faker()
dataLink = "https://www.sec.gov/Archives/edgar/data/1596783/000159678320000155/0001596783-20-000155.txt"
resp = requests.get(url=dataLink, verify=False, headers={"User-Agent":fake.chrome()})
soup = BeautifulSoup(response.content, 'xml')
print(soup.prettify())
当我运行此代码时,返回中的数据甚至与我从中提取数据的网页上列出的数据的条目数不一样。有谁知道为什么我的 HTTP 请求返回的数据比我检查网页时显示的数据少得多?
解决方案
推荐阅读
- python-3.x - 以下代码片段的高效实现
- android - LiveData、MutableLiveData 之间的区别
- android - 什么是在 Android Studio 中指示 AGPBI 错误?
- dialogflow-es - 使用 api 上传意图时无法从用户短语中提取实体
- hyperledger-composer - 使用查询功能如何获取资产总量?
- javascript - Angular 6反应形式输入值到大写
- php - 在自定义表中保存 WooCommerce 订单详细信息
- python - 如何通过唯一的rowID组合两个数据框,一个比另一个具有更少的值
- python - 如何在 scikit learn predict 中添加 none 选项
- java - Eclipse Formatter 在代码块之间添加空行