python-3.x - 我将图像 ID 的键值对作为键，将 numpy 数组（24、366、366）作为值。有效保存这些数据的最佳方法是什么？

Question

我尝试使用 np.save 和 pickle 保存 1000 个键值对实例。两者都往往很大~6.9 GB。但是我总共有 44k 个这样的键值对实例。这将需要永远保存。有没有办法压缩数据并保存？

标签： python-3.xtensorflow2.0

Answer 1

如果您要在生产中使用它或者您想加快速度，请使用数据库。Cassandra 非常强大，但这是小数据，您可以使用您想用作数据库的数据。也检查redis，但同样你需要在任何持久数据库中存储。如果只是想用于测试使用numpy.save