azure - Azure Functions 的 AKS(Azure Kubernetes 服务)Pod 冷启动
问题描述
目前我正在尝试让现有的 Azure 函数在 AKS 上运行。Azure Function 本身加载评估一个大型机器学习模型,因此我正在使用应用服务,因此它不会闲置,并将始终将模型保存在内存中,以便快速处理传入的请求。
但是,在 AKS 中,默认运行的 pod 数量为 0。所以当新请求进来时(azure 函数处理队列中的请求),AKS 从头开始创建新的 pod,这需要很多时间(因为模型很大,必须加载)。
如何设置应始终运行的最小 pod 数量?比方说,至少1,所以不会有这么长时间的冷启动。
解决方案
由于您从队列中的消息运行,我假设您使用的是 KEDA。如果是这样,您将必须minReplicaCount
在您的ScaledObject
定义中设置。
推荐阅读
- python - 在 Docker 映像中运行 Python 调试器
- java - 在不使用 && 或 || 的情况下如何编写此代码 操作员?
- python - 使用嵌套 while 循环的程序
- reactjs - Reactjs没有在foreach循环中定义渲染视图
- javascript - 如何使用 CSS 在每次闪烁时显示新文本
- django - Visual Studio Code 自动导入功能不起作用
- plot - 如何在 for 循环中使用 ComplexPortraits.jl 绘制多个图?
- pandas - 用 pandas 列中现有最大值和最小值之间的随机值替换 nan
- javascript - 如何检测 Safari 扩展中的历史状态变化?
- aws-java-sdk - java localstack lambada - 如何运行 lambada 并查看日志