google-cloud-platform - 每次调用版本时 AI 平台安装依赖项
问题描述
我对模型调用的预测有超时问题,这似乎是因为冷启动。似乎模型的节点几乎每次被调用时都在安装依赖项(虽然 minNodes 为 1)。仅当版本超过 1 个时才会出现问题,否则它不会重新安装依赖项并且它会在 1 秒内进行预测,而不是在 120 秒内进行超时...我需要放置更高的 minNodes 吗?
如果有人遇到问题并有解决方案(或任何建议),我真的很感兴趣;)
谢谢
解决方案
让我试试看我是否理解您的问题:您使用的是 AI Platform 模型,并且每次调用它时节点都会安装依赖项。当有多个版本时,它不会重新安装依赖项并进行快速预测。
为了继续,我需要问你以下问题:
- 你得到的错误是什么?您在日志上有任何相关消息吗?
- 你有什么类型的依赖?如果您有一个训练应用程序,您可能有不同类型的依赖项(标准和自定义)[3]。
- 当您提到版本时,您是在谈论 AI Platform 中的模型版本还是依赖项的不同版本?
关于尝试预测时的 minNodes,我认为增加这个数字不会解决问题。根据[1],如果负载更高,它会添加更多节点,然后缩小,至少,minNodes。至少有两个节点,您将被 SLA [2] 覆盖,但可能面临同样的问题。
[2] - https://cloud.google.com/ai-platform/prediction/docs/deploying-models#create_a_model_version
[3] - https://cloud.google.com/ai-platform/training/docs/packaging-trainer#working_with_dependencies
推荐阅读
- swiftui - 如何更改 SwiftUI 列表中文本数量的最大限制?
- css - 媒体查询继续以不应该的视口大小应用
- android - 在特定设备中通话期间未显示抬头通知
- ios - 如何在 swift 中使用 UserDefaults 实现登录/注销导航?
- python - 如何等待 twilio 回调,直到它从 TBD 变为实际价格?
- graphql - apollo 客户端 nodejs 使用过滤器查询本地状态
- express - 在 Ejs 中使用 Express 会话从一条路线到另一条路线
- java - 将初始化代码添加到 Spring Boot 应用程序的正确方法是什么?
- javascript - 通过 js/react 中的对象数组映射
- java - 如何在 Spring 中编写查询以将记录插入 Mysql 数据库中的 2 个表中