时间戳

首页 > 解决方案 > 在本地下载预训练的 BERT 模型

python-3.x - 在本地下载预训练的 BERT 模型

问题描述

我正在使用 SentenceTransformers 库（此处：https : //pypi.org/project/sentence-transformers/#pretrained-models）使用预训练模型创建句子嵌入bert-base-nli-mean-tokens。我有一个应用程序将部署到无法访问 Internet 的设备上。如何在本地保存此模型，以便在调用它时在本地加载模型，而不是尝试从 Internet 下载？正如图书馆维护者所明确表示的那样，该方法SentenceTransformer从互联网上下载模型（参见此处：https ://pypi.org/project/sentence-transformers/#pretrained-models ），我找不到在本地保存模型的方法。

标签： python-3.xword-embedding

解决方案

拥抱脸用法

您可以使用 Hugging Face 转换器库方法在本地下载模型。

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("sentence-transformers/bert-base-nli-mean-tokens")
model = AutoModel.from_pretrained("sentence-transformers/bert-base-nli-mean-tokens")
tokenizer.save_pretrained('./local_directory/')
model.save_pretrained('./local_directory/')

推荐阅读