python - 如何分离机器学习项目的开发和生产需求.txt？

Question

我正在寻找更好的 AI/ML 项目代码结构。我知道cookiecutter就在那里，我真的很喜欢它。

这就是问题所在：我希望我的 Jupyter Notebook 像 cookiecutter 一样添加到项目结构中。但是当我想部署模型和 Ipip install requirements.txt时，将安装所有包（包括 Jupyter Notebook 要求）。我不喜欢它。

是否有任何项目结构，其中包括内部笔记本但单独的 requirements.txt 用于分析和部署？

创建两个文件夹是否是个好主意：一个用于使用 requirements.txt 对笔记本进行分析，另一个用于具有自己的 requirements.txt 的模型部署？

标签： pythonmachine-learningjupyter-notebookdata-sciencemlops

Answer 1

我想到的最好的解决方案是诗歌。它会像 python 包一样自动创建文件夹结构。

文件夹结构

Poerty 在项目初始化时创建一个 project.toml 文件。这可以作为生产的requirement.txt文件。您可以使用命令行或编辑文件在此文件中分别添加生产和开发包。

项目.toml

它还为项目创建了单独的环境，有助于最大限度地减少与其他项目的冲突。