django - Django / Docker,管理一百万个图像和许多大文件
问题描述
我正在从事的项目依赖于许多静态文件。我正在寻找有关如何处理这种情况的指导。首先我会解释情况,然后我会问我的问题。
情况
需要管理的文件:
- 大约 150 万
.bmp
张图像,大约 100 GB - 大约 100 个
.h5
文件,每个 250 MB,大约 25 GB
.bmp 文件
这些图像是图像库的一部分,用户可以根据多种不同类型的元数据对它们进行过滤。元数据分布在多个模型上,例如:Printer、PaperType 和 Source。
在开发中,图像位于static
Django 项目的文件夹中,现在可以正常工作。
h5 文件
每个应用程序都有自己的一组.h5
文件。它们用于检查用户生成的图像。检查的结果存储在数据库中,图像本身存储在磁盘上。
转向生产
现在您对这个问题有所了解,是时候问我的问题了。
请注意,我之前从未将 Django 项目投入生产。我也是 Docker 的新手。
码头工人
该项目需要部署在多台机器上,为了使这更容易,我决定使用 Docker。我设法在没有.bmp
和.h5
文件的情况下构建图像并运行容器。到目前为止,一切都很好!
我该如何处理这些.h5
文件?构建大小为 25 GB 的映像似乎不是一个好主意。有没有办法.h5
在以后的时间点下载文件?就像构建只包含代码并.h5
稍后下载文件的 Docker 映像一样。
图像文件
我很确定 Django 的collectstatic
命令并不意味着移动项目使用的图像数量。我正在考虑将图像直接上传到某种图像服务器。
如果有专门的图像服务器,我很想听听您的建议。
解决方案
推荐阅读
- c# - HDInsight 标准地图缩减作业
- typescript - 使用赛普拉斯从文本文件上传 multipart/form-data
- python - 如何在 Django Rest Framework 中上传文本和文件
- pyspark - Pyspark:如何在不加入或使用 rdd 的情况下映射值?
- android - 带有火力基础的 Appinventor - 奇怪的符号?
- graphics - 在背景图像上移动图形
- php - .htaccess RewriteEngine 在 xampp 中导致 Unexpected 403 Forbidden http response code
- windows - 在powershell中确定linux文件系统驱动类型
- javascript - 根据 div.results 长度添加/更新滚动条
- python - 无法连接到端点 URL:“http://localhost:8000/”使用 Python 的 DynamoDB