python - 我可以使用来自 TF HUB 的非微调 BERT 模型来为它提供 TF 服务吗？

Question

我是新手TF serving，目前我遇到了这样的问题。我使用bert_en_uncased from运行服务器部分TF HUB，但我不明白如何正确实现客户端。我遇到了几篇文章，但每篇文章都假设我有一个现成的微调模型，其中包含预先分配的请求处理程序。任何人都可以分享一些导师或 API 参考来帮助我完成任务吗？

我读过的一些文章：

• 使用 TensorFlow Serving 部署可服务的问答模型
• 3 种优化和导出在线服务 BERT 模型的方法
• 使用 BERT 微调模型进行 Tensorflow 服务（GitHub 问题）

PS。我不是想创建 QA 模型或类似的东西，我只需要来自这个特定模型的 BERT 嵌入。

标签： pythontensorflownlpbert-language-model

Answer 1

UPD：已经解决了这个问题。主要的是，TF.HUB模型没有任何规格列表或类似的东西，只有一些关于如何使用它的文档tf.hub。如果您遇到类似的问题，我建议您执行以下操作： 1）从源代码安装/编译SavedModelCli，它是 TensorFlow 的工具，可以说，解压缩保存的模型并获取它的规格；2）找到一些关于 的指南TF Serving，只需更改一些代码片段，几乎每个实现都是相同的；3）您可能（相信我，您会）面临弃用警告。不要试图寻找文档，解决方案就在这里 :) 祝你的模型服务好运！