时间戳

首页 > 解决方案 > 验证后使用 Python 请求下载 CSV 文件

python - 验证后使用 Python 请求下载 CSV 文件

问题描述

我正在尝试以编程方式从网上下载“.csv”文件。我收到带有以下代码的 200 响应。

import requests
url = 'http://eoddata.com/data/filedownload.aspx?e=NYSE&sd=20180722&ed=20180722&d=5&k=xh2mnktdc4&o=d&ea=1&p=0'
user, password = '..', '..'
resp = requests.get(url, auth=(user, password))

在浏览器中提交此 URL 时，“.csv”文件会自动下载。我试图让我的应用程序在本地存储文件。我不知道文件的结束位置，所以我很难保存它。

我添加了 HTTP Live Headers 扩展，它给了我这个：

GET /data/filedownload.aspx?e=AMEX&sd=20180719&ed=20180719&d=5&k=n4vic5se64&o=d&ea=1&p=0 HTTP/1.1
Host: eoddata.com
Accept: text/css,*/*;q=0.1
Accept-Encoding: gzip, deflate
Accept-Language: en-US,en;q=0.9
Cookie: ASP.NET_SessionId=drbcwljllaf3xdwdlvqzfvl1;EODDataAdmin=01438A3826CBEEC6085BF7B27AEB1BE6AF337FFBF3E3E33AA1D882D39FB92555E8370DD45631B3F8CAD5289C5C46DB28C99B44DC8253A78D659EB165ADC55A1D6E4C20FA81051908E6BE82143EA5398662779546BE4C31C6F32833C5558F23C9A30D0CA16A703CB939FC6D77A0FB0CB017DDEEA832A1A0CC228B61777295C58CA52AF78B472B9D2FC19E78770DEBD346E9B05F02C65F96EE22C3E55B083FC4A1311FA12B223CC2899D6166E1284AD95E
DNT: 1
Referer: http://eoddata.com/download.aspx
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36

HTTP/1.1 200 OK
Cache-Control: private
content-disposition: attachment;filename="AMEX_20180719.csv"
Content-Length: 93840
Content-Type: text/plain
Date: Wed, 25 Jul 2018 13:54:31 GMT
Server: Microsoft-IIS/7.5
X-AspNet-Version: 4.0.30319
X-Powered-By: ASP.NET

非常感谢保存预期文件的任何帮助。

编辑：我想在标题响应中指出这一行：content-disposition: attachment;filename="AMEX_20180719.csv" 这有什么不同吗？

标签： pythonpython-3.xauthenticationpython-requests

解决方案

由于您的请求似乎正在通过，您所要做的就是实际下载文件。以下是我通常使用请求下载文件的方式：

import requests

def download_file(url, user, password, file_path):
    with requests.get(url, stream = True, auth = (user, password)) as response:
        with open(file_path, 'wb') as f:
            for chunk in response.iter_content(chunk_size = 1024):
                f.write(chunk)

在这种情况下，不要忘记以 .csv 结束 file_path。

推荐阅读