nosql - 具有良好磁盘压缩的分布式键值存储？

Question

我需要一个简单的键值存储，具有良好的磁盘压缩能力，并且在谷歌搜索方面运气不佳。在评估存储时，似乎没有太多人关注磁盘大小。

我需要能够使用短字符串键放置/获取大小在 1k 到 100k 之间的持久二进制对象。每个密钥需要存储在至少 2 个节点上以实现冗余。可用性比一致性更重要。我不需要事务、SQL 查询或类似的东西。磁盘空间对于扩展我的系统很重要。

有什么建议么？

标签： nosqlcompressionkey-value-store

Answer 1

我最终使用 Google 协议缓冲区稍微压缩了我的对象，并将它们存储在 Apache Ignite 中，并打开了 zstd 压缩。这似乎运作良好。磁盘大小约为原始 csv.gz 源数据的 80%。