tensorflow - TensorFlow 服务性能缓慢

Question

我有一个模型（基于 Mask_RCNN），已导出到可服务对象。我可以在我的 Macbook pro 本地的 docker 容器中使用 tf 服务运行它，并使用 json API 它将在 15-20 秒内响应，这并不快，但我真的没想到会如此。

我尝试在基于 DLAMI 的各种 AWS 机器上提供它，还尝试了一些 Ubuntu AMI，特别是使用带有 gpu、4vcpus 和 61GB RAM 的 p2.xlarge。当我这样做时，相同的模型会在大约 90 年代做出响应。配置是相同的，因为我已经构建了一个包含模型的 docker 映像。

我也在这里使用 AWS 示例超时：https ://docs.aws.amazon.com/dlami/latest/devguide/tutorial-tfserving.html

有没有其他人经历过类似的事情，或者对如何解决或隔离问题有任何想法？

标签： tensorflowtensorflow-serving