python - 使用 Python 和 Pandas 将多个 CSV Web 源合二为一
问题描述
我必须从多个网络源中获取 csv 内容并将其附加到一个文件中。网络资源的数量是可变的,它取决于包含所有 url 的 excel 文件。
为此,我在 python 中生成了一个列表(命名为 dataList),每个元素都包含一个来自 excel 文件的 url。
之后,为了从 url 中获取数据,我使用了一个 for 循环:
for k in range(count_dataList):
dataContent.insert(k, pd.read_csv(dataList[k]))
现在,存在一个列表,其中每个元素都包含来自源的数据。我猜是一个DataFrame。
最后,我必须将所有元素附加到一个 DataFrame。但我找不到任何附加所有数据的方法。
解决方案
您可以使用pd.concat
:
df = pd.concat(pd.read_csv(source) for source in dataList)
推荐阅读
- javascript - 从两个不同的来源检索数据以填写表格 javascript/Vue.js
- sql - 在 Spark 中作为分组子句的 Dataframe 的列值
- google-cloud-platform - 如何将 Runner_v2 用于 Apache Beam 数据流作业?
- python - on_member_join 不和谐
- python - Django Query,在多对多关系中查找字段的最常见值
- javascript - Postman 无法对 OSSController API 执行命令
- oracle-apex - 限制用户访问
- python - 从 Firebase 获取数据 关于 Firebase 中的数据更改使用 Python
- java - 将迭代器转换为列表会导致空列表
- entity-framework-core - EntityFramework Core 如何在内部管理数据?