training-data - aws sagemakergiving 模型数据存档太大。请减小模型数据存档的大小
问题描述
我正在使用 aws sagemaker 部署一个模型,其生成的工件很大。压缩后的大小约为 80GB。在 ml.m5.12xlarge 实例上的 sage maker 上部署会在部署到端点时引发此错误
The model data archive is too large. Please reduce the size of the model data archive or move to an instance type with more memory.
我发现 aws 根据实例大小(https://docs.aws.amazon.com/sagemaker/latest/dg/host-instance-storage.html)附加 EBS 卷,我在这里找不到超过 30Gb 的内容。我应该在这里使用多模型端点吗?
解决方案
“d”实例具有更大的 (NVMe) 卷;例如,您可以尝试部署到ml.m5d.*
。但请记住,您的下载和实例化时间可能会超过服务限制(根据我的经验,在 15-20 分钟之间),因此如果您无法在该时间范围内启动端点,您可能仍然会遇到错误。
推荐阅读
- gcc - Fedora 32 上的 gcc:它应该如何“配置”?也就是说,预期的文件在哪里等?
- c# - 如何在 Blazor 中实现 Button 下拉组件
- phing - XML 清单中的 Phing 更新版本号
- python - 从 conda environment.yaml 安装时 pip 依赖项的依赖项
- google-home - 我想使用我的应用链接到 Google 操作
- python - 字符串索引未在循环中更新
- maven - 如何根据需要构建具有任何版本的 Maven?
- python - 我想自动删除嵌入的触发器,我该怎么做?
- java - 在android中创建一个文本文件
- ms-access - 在 Access 中从另一个表中的列(运行总计)中减去一个表的列