python - 如何存储科学大（显微镜）文件？

Question

这是问题所在：

在实验室中，会创建非常大的显微镜数据（每个文件从 1GB 到 200GB）。

我们将元数据作为 JSONS 存储在 MongoDB 中。但是我们找不到合适的本地/开源平台来存储这些文件。我们尝试过 Hadoop，但它是一个非常复杂的框架，我们不需要很多特性。我们只需要一个 BLOB / 对象存储，如果可能的话，使用 Python API 通过自建的 GUI 读取和写入数据。

已经评估过 Ceph、OpenStack Swift、OwnCloud、Gluster 等，但由于 max_limit_size_of_file 的原因，我们每个都失败了。其中许多提到的每个文件的最大限制为 5GB。

存储这些文件的最佳方式是什么？我们需要以下功能：

• Python（和 REST）API
• 没有最大限制大小
• 开源/本地软件
• 对象/Blob 存储
• 如果可能的话，复制数据

不幸的是，出于合规性原因，云解决方案不是一种选择。

标签： pythonbigdatablobstorageopenstack

Answer 1

对于此类情况，有时最好的办法是使用内置文件系统来存储您的文件。