kubernetes - 有没有办法限制与 Spacy、Torch 等共享的 vgpu 上的 per_process 内存？

Question

我正在寻找以下方面的 gpu 内存分数限制参数：

spacy、torch 等常用型号。

我知道我们可以设置 tensorflow 模型，per_process_gpu_memory_fraction但是在 pytorch 或 spacy 中是否存在等价物？

如果有一种方法可以同时将共享 vgpu 上的内存分配给多种不同类型的模型，那么会有加分吗？

即 Spacy 模型消耗 0.20，Tensorflow 模型消耗 0.40，而 pytorch 模型消耗 0.30，因此我们可以在使用共享 vgpu 资源为同一集群上的所有模型提供服务时避免内存不足错误。

对于更多的上下文，我们将这个 virtualgpu 插件 https://github.com/awslabs/aws-virtual-gpu-device-plugin与 kubeflow 一起使用。

标签： kubernetespytorchspacykubeflow