时间戳

首页 > 解决方案 > 在 MinIO 存储上安装 DVC

python - 在 MinIO 存储上安装 DVC

问题描述

有人在 MinIO 存储上安装 DVC 吗？

我已经阅读了文档，但对我来说并不完全清楚。

我应该使用哪个命令来设置具有此入口参数的 MinIO 存储：

存储地址：https ://minio.mysite.com/minio/bucket-name/ 登录名：my_login 密码：my_password

标签： pythonminiodvc

解决方案

安装

我通常将它用作 Python 包，在这种情况下您需要安装：

pip install "dvc[s3]"

设置遥控器

默认情况下，DVC 支持 AWS S3 存储并且它们工作正常。
它们还支持“与 S3 兼容的存储”，但正确描述了此类遥控器的设置。在 MinIO 的特定情况下，您在 MinIO 服务器上有存储实际数据的存储桶目录（它类似于 AWS 存储桶），但 DVC 使用 AWS CLI 进行身份验证。在 MinIO 的情况下，您需要显式传递它们。

然后按照命令设置您的 DVC 遥控器：

# setup default remote (change "bucket-name" to your minio backet name)
dvc remote add -d minio s3://bucket-name -f

# add information about storage url (where "https://minio.mysite.com" your url)
dvc remote modify minio endpointurl https://minio.mysite.com

#  add info about login and password
dvc remote modify minio access_key_id my_login
dvc remote modify minio secret_access_key my_password

如果您从旧远程移动，请使用以下命令移动您的数据：

设置之前（将所有旧的远程缓存下载到本地机器）：

dvc pull -r <old_remote_name> --all-commits --all-tags --all-branches

设置后（将所有缓存上传到新的远程）：

dvc push -r <new_remote_name> --all-commits --all-tags --all-branches

推荐阅读