tensorflow - KubeFlow 上的 TFServing 和 KFServing 有什么不同
问题描述
TFServin 和 KFServing 都将模型部署在 Kubeflow 上,让用户轻松将模型作为服务使用,无需了解 Kubernetes 的细节,隐藏底层。
TFServing 来自 TensorFlow,它也可以在 Kubeflow 上运行或独立运行。kubeflow 上的 TFserving
我的问题是这两个项目之间的主要区别是什么。
如果我想在生产中启动我的模型,我应该使用哪个?哪个性能更好?
解决方案
KFServing 是推理之上的抽象,而不是替代。它旨在简化部署并使推理客户端与推理服务器在幕后所做的实际工作无关(无论是 TF Serving、Triton(以前称为 TRT-IS)、Seldon 等)。它通过在推理数据平面规范上寻求推理服务器供应商之间的协议来实现这一点,该规范允许额外的组件(例如转换和解释器)更具可插拔性。
推荐阅读
- java - Jdeps 命令报告包为找到,然后是相同的包为未找到
- android - 如何在 Multi-Selection RecyclerView 中定义选择(热点)区域?
- mysql - 无法在 xampp 中启动 mysql 服务器,
- date - SSIS:将生成的字符串转换为日期时间:DT_WSTR 到 DT_DBDATE
- visual-studio - 在 Visual Studio 中编写命令时出现“当前上下文中不存在硒管理器”错误
- android - Android:动画评分栏以扩大和缩小每颗星
- java - JDialog 关闭后留在 Swings 组件树中
- javascript - 如何使用 Chai 或 vanilla javascript 大致比较 JSON 对象文字
- python - 给定字符串排列的大 O 时间计算
- vue.js - Vue JS插件使用汇总和p11n不构建不是javascript错误的导入文件