tensorflow-serving - tf-serving 2.5.1 比 tf-serving 2.2 慢得多

Question

我们进行了高级基准测试，试图了解 tf-serving 2.5.1 和 2.x 之间的区别。

环境：

• 型号：伯特模型
• 我们使用 docker 容器
• 硬件：CPU：https ://www.amd.com/en/products/cpu/amd-epyc-7742 内存：同样限制4G

结果：我们在 tf-serving 2.5.1 上看到 20%-400% 的回归，见下文，这是真正的回归还是我们可以在 2.5.1 上调整的东西？

标签： tensorflow-serving