时间戳

首页 > 解决方案 > 远程 VM 上的 TensorFlow Serving 以服务来自客户端的 HTTP 预测请求

rest - 远程 VM 上的 TensorFlow Serving 以服务来自客户端的 HTTP 预测请求

问题描述

根据此处的官方 Tensorflow 服务文档，我已经在带有 GPU 的远程 VM 上创建了模型服务，以在 localhost 上提供服务，并且预测工作正常。但是，其目的是在远程 VM 上为模型提供服务，以便客户端能够将 HTTP 预测请求发送到其 IP 地址已知的远程服务器。在客户端计算机上，我将“localhost”更改为远程 IP，保持其他所有内容相同并发送请求。但是，连接超时。非常感谢任何帮助/建议。
curl -d '{"instances": [1.0,2.0,5.0]}' -X POST http://<Remote Machine IP>:8501/v1/models/saved_model_half_plus_three:predict

标签： resttensorflowgoogle-cloud-platformcomputer-visionvirtual-machine

解决方案

端口未打开。转到防火墙规则并从 0.0.0.0/0 源 IP 范围添加端口 8501，如果这是你想要的。

但是，对于生产，我建议您将它放在负载均衡器后面，以管理实例组和其他可扩展且安全的东西。

推荐阅读