python-3.x - 部署 TensorFlow 对象检测模型和服务预测

Question

我在谷歌云平台的机器学习引擎上部署了一个 Tensorflow 对象检测模型。我遇到过建议使用 Tensorflow Serving + Docker 以获得更好性能的帖子。我是 Tensorflow 的新手，想知道提供预测的最佳方式是什么。目前，ml 引擎在线预测的延迟>50 秒。我的用例是用户使用移动应用上传图片并根据预测结果获得合适的响应。所以，我预计预测延迟会下降到 2-3 秒。我还能做些什么来加快预测速度？

标签： python-3.xtensorflowmachine-learninggoogle-cloud-platformgoogle-cloud-ml

Answer 1

Google Cloud ML Engine 最近发布了对在线预测 (Alpha) 的 GPU 支持。我相信我们的产品可能会提供您正在寻找的性能改进。随意在这里注册：https ://docs.google.com/forms/d/e/1FAIpQLSexO16ULcQP7tiCM3Fqq9i6RRIOtDl1WUgM4O9tERs-QXu4RQ/viewform?usp=sf_link