python - 如何保存实时数据以供日后分析？

Question

我有一个实时数据流，我想将其存储起来，以便以后在 Python 中进行分析。数据总量太多，无法将其全部存储在服务器的 RAM 中，但在分析过程中，我只需要获取可以放入 RAM 的数据块。我认为存储在磁盘上的数据不会太多。我正在寻找有关如何存储这些数据以使其尽可能容易从 Python 进行分析的建议。

我尝试了什么：最初我尝试使用 Redis 来存储数据，但我不明白 Redis 是什么，而且我没有意识到它除了转储备份之外无法与磁盘交互。（我虽然将最近使用的数据保存在 RAM 中作为速度优化，但我没有意识到所有数据都必须在运行时存储在 RAM 中。）但是，我最终填满了我的 RAM。

移动前言，我应该直接将我的数据保存在像 MySQL 这样的普通数据库中，还是使用 Redis 作为中介，将数据发送到 Redis，然后有一个单独的进程从 Redis 读取并将其存储到数据库中。然后在分析期间，我会从数据库中读取数据并将其推回 Redis 以将数据保存在 RAM 中，以便在分析期间快速访问。在任何一种情况下，任何 Python 包建议以简化该过程也将不胜感激。

标签： pythonsqlredisdata-analysisreal-time-data