python - 如何处理数百个 CSV，每个 CSV 有数百万行？
问题描述
因此，我正在对来自 IEEE 端口的 COVID-19 Tweets 数据集进行一个项目，我计划分析从 2020 年 3 月至今的时间段内的推文。问题是有 300 多个 CSV，每个都有数百万行。现在我需要先对所有这些推文进行水化，然后才能过滤它们。今天仅补充 1 个 CSV 就需要两个多小时。
我想知道是否有更有效的方法可以解决这个问题。是否可以将所有 CSV 合并到一个文件中，然后将一个文件水化很长时间，或者如果每个文件花费这么长时间，我是否必须使用较小的数据集。
我刚刚开始处理现实生活中的数据，因此您可以将我视为真正的初学者，我们将不胜感激。谢谢！
解决方案
推荐阅读
- php - 无法将 Imagemagick 与 PHP 的 exec() 中的 PDF 一起使用，在 CLI 中很好
- c# - 在画布内放置文本
- string - 从字符串添加时间跨度
- javascript - 你如何清理上传的图像
- powershell - 如何获取 Azure DSC 配置以读取名称为参数的自动化帐户变量？
- node.js - Firestore + Passport.js 会话功能
- c# - UWP 已绑定复选框是否已选中？
- docker - 无法连接到虚拟机 Docker
- javascript - 使用“margin：auto”时不尊重“pointer-event：none”
- python - 如何使用python将xml存储到xlsx