azure-machine-learning-service - AzureML：自动缩放 ML 端点

Question

我的模型托管在 ACI 计算上。我正在尝试调查支持基础实例的自动缩放需要什么？如果无法进行自动缩放，那么是否有文档可以手动缩放端点？

基本上，我需要在这个模型端点上支持高可用性。

我的一个想法是手动将模型发布到 2 个端点，然后在前面添加一个 Load Balander。似乎有点hacky...

谢谢！

标签： azure-machine-learning-service

Answer 1

我们通常建议部署到 AKS 以获得高可用性。https://docs.microsoft.com/en-us/azure/machine-learning/how-to-deploy-azure-kubernetes-service