curl - 使用 Python 请求从 data.world 下载 covid 数据集

Question

我正在尝试将 covid 19 Activity 数据集从 data.world 获取到 AWS S3 ，用于数据管道。

到目前为止我的方法：

1. 编写一个 lambda 函数以使用 python requests.get() 获取数据
2. 使用 csv writer 将内容存储到 s3。

但是，在执行 requests.get() 时，我得到了一个 html 响应。

有人可以帮我获取csv数据而不是html。

https://data.world/covid-19-data-resource-hub/covid-19-case-counts

谢谢 ！

标签： curlamazon-s3aws-lambdapython-requests

Answer 1

此站点需要身份验证。因此，首先，通过发送用户密码对在网站上验证您自己，然后您可以使用requests Sessionobject.

完成后，您可以尝试模仿用于下载数据集的实际请求。