tensorflow - 关于tensorflow服务性能提升的问题
问题描述
我们有一个用于模型服务的 tfs 集群。每个模型服务器加载大约 2 个模型。
我们注意到了一件有趣的事情。随着模型服务请求的 qps 从 150 增加到 200，每个模型服务器上的平均推理持续时间下降了 0.5 毫秒。
我对这个结果感到困惑，因为模型服务器没有配置“启用批处理”。为什么性能会越来越好。
期待有人能解答，谢谢~
解决方案
推荐阅读
- c# - dotnetbrowser - 如何保存特定图像 c#
- css - 不同浏览器的图片长宽比不同
- javascript - JQuery 文件上传未重置
- c# - 如何检查机密是否在 Azure Key Vault 中
- python - 类变量无法对实例变量执行属性查找
- postgresql - Postgresql plpgsql：动态插入新创建的分区表时插入错误
- perl - 使用 while 循环和 $_ 读取 PDB 文件时出错
- javascript - Vue.js + Element-ui Table：如何将所选行移动到表格顶部
- html - Python Webscraper - AttributeError：“HTTPResponse”对象没有属性“open”
- javascript - 在 COR 响应期间收到服务器 500 错误