docker - 如何在云 ECS 中优化使用 Tensorflow Serving 部署的 ESRGAN 的内存使用情况

Question

背景

我正在研究ESRGAN并尝试使用 Tensorflow Serving 部署它。我已经下载了模型，并成功托管在阿里云ECS（1核，2G内存）中。

{
 "model_version_status": [
  {
   "version": "1",
   "state": "AVAILABLE",
   "status": {
    "error_code": "OK",
    "error_message": ""
   }
  }
 ]
}

问题

但是，当它推断出约 100k 的图像时，我遇到了内存不足的问题。下面的屏幕截图是 TF Serving docker 容器被杀死之前的时刻。顺便说一句，CPU的使用率也达到了极限。我尝试添加输入图像的下采样以减少，但没有运气。

我看到一些使用更强大的服务器/集群的 TF Serving 应用程序，但是除了订购更昂贵的硬件之外，我还能做些什么来让它在没有内存问题的情况下工作？

标签： dockertensorflowamazon-ecstensorflow-serving