amazon-s3 - MLflow:为什么 backend-store-uri 不能是 s3 位置?
问题描述
我是 mlflow 的新手,我不知道为什么artifact store
不能和backend store
?
我能想到的唯一原因是能够使用 SQL 语法查询实验......但是因为我们可以使用运行与运行交互,所以mlflow ui
我只是不明白为什么所有工件和参数都不能去同一个位置(这是使用本地存储时发生的情况)。
任何人都可以对此有所了解吗?
解决方案
MLflow 的工件通常是 ML 模型,即相对较大的二进制文件。另一方面,运行数据通常是几个浮点数。
最后,这不是什么是可能的问题(如果你付出足够的努力,很多事情都是可能的),而是遵循良好的实践:
- 在 SQL 数据库中存储大型二进制工件是可能的,但迟早会降低数据库的性能,这反过来又会降低您的用户体验。
- 从 SQL 数据库中存储几个浮点数以便快速检索以显示在前端或通过命令行是经过行业验证的强大经典
MLflow 关于架构设计原理的文档仍然可以改进(截至 2020 年)