时间戳

首页 > 解决方案 > 在 spacy 中，如何使用自己在 gensim 中创建的 word2vec 模型？

model - 在 spacy 中，如何使用自己在 gensim 中创建的 word2vec 模型？

问题描述

我已经在 gensim 中训练了我自己的 word2vec 模型，我正在尝试在 spacy 中加载该模型。首先，我需要将它保存在我的磁盘中，然后尝试在 spacy 中加载一个 init-model，但无法弄清楚到底如何。

gensimmodel
Out[252]:
<gensim.models.word2vec.Word2Vec at 0x110b24b70>

import spacy
spacy.load(gensimmodel)

OSError: [E050] Can't find model 'Word2Vec(vocab=250, size=1000, alpha=0.025)'. It doesn't seem to be a shortcut link, a Python package or a valid path to a data directory.

标签： modelword2vecgensimspacy

解决方案

以纯文本格式训练和保存模型：

from gensim.test.utils import common_texts, get_tmpfile
from gensim.models import Word2Vec

path = get_tmpfile("./data/word2vec.model")

model = Word2Vec(common_texts, size=100, window=5, min_count=1, workers=4)
model.wv.save_word2vec_format("./data/word2vec.txt")

压缩文本文件：

gzip word2vec.txt

这会产生一个word2vec.txt.gz文件。

运行以下命令：

python -m spacy init-model en ./data/spacy.word2vec.model --vectors-loc word2vec.txt.gz

使用以下方法加载向量：

nlp = spacy.load('./data/spacy.word2vec.model/')

推荐阅读