首页 > 解决方案 > 如何为(张量流)模型提供自定义元数据?

问题描述

通过TensorFlow-Serving为 TensorFlow 模型提供服务时,我需要向客户端公开自定义元数据(例如模型的输入数据要求、训练信息......)。

我在保存模型之前尝试通过添加信息tf.add_to_collection( <my_custom_key>, <value> ),果然,信息显示在服务器使用的 .pb(txt) 文件中。

但是,目前看起来好像对查询元数据(例如 via GET http://localhost:8501/v1/models/<my_model>/metadata)的响应只返回该signature_def部分的内容(这也不能扩展,验证器会阻止),而且我不知道如何查询其他部分的内容。

有没有办法为 TF Serving 提供/查询自定义元数据?

标签: tensorflowtensorflow-serving

解决方案


不幸的是,添加逻辑以允许提供除 signaturedefs 以外的元数据目前不在路线图上,我不确定我们是否对支持这一点的一般用例有很好的理解。

关于如何提供存储在已保存模型中的元数据,您可能会在保存感兴趣的张量值(输入/输出形状)的图形中添加一个常量,使用下面的链接创建一个新签名并使用该签名进行推断- 我从未见过这样做,但我无法想象为什么它不起作用。

https://www.tensorflow.org/guide/saved_model#manually_build_a_savedmodel


推荐阅读