performance - 在 GPU 上运行多个深度学习模型时如何优化

Question

我正在构建同时处理五个流的系统。当我运行多个深度学习模型以处理这些流然后速度非常慢时，我遇到了这个问题。因此，如果您习惯于这样设计系统。请给我一些建议。

标签： performancemachine-learningdeep-learningcomputer-visionmxnet

Answer 1

我会考虑在单独的机器上运行多个深度学习模型。否则，您将始终让他们争夺 RAM、CPU 时间、HDD 等共享资源，而您将无法获得最佳性能。