首页 > 解决方案 > 用于低性能线程安全数据存储的服务?

问题描述

出于机器学习目的,我想存储用户输入。目前,这些采用形式并使用缓冲写入{ id: <user_id>, image: <base 64 encoded image>}器附加到本地文件。user_data.txt

这里唯一要做的工作是使用互斥机制附加到文件中。

写入将非常频繁,而读取将极为罕见。

Amazon S3这样的东西似乎最初适合它为廉价数据存储而设计,但它不能很好地处理许多写入,因为它不支持简单地附加未命名的对象和自动生成一个 id。

目前我在想,也许通过使用时间戳和相应的服务器静态 ip 覆盖对象可以避免(通过确保不写入具有相同名称的对象),但这似乎是一种解决方法。

当然,您可以简单地将服务配置为具有非常低的性能(1 个互斥锁)但具有高存储容量(许多 TB 甚至可能是 PB)?


对于那些它可能有用的人,特别是我使用 RustArc<Mutex<BufWriter>>来写入文件。

标签: amazon-web-services

解决方案


推荐阅读