stanford-nlp - 如何从头开始在 gensim 中训练 Glove 嵌入？

Question

如何从头开始在 gensim 中训练 Glove 嵌入？我可以为此使用 gensim 吗？

标签： stanford-nlpgensim

Answer 1

Gensim 没有实现 GLoVe 算法。但它确实提供了非常相似的 word2vec 算法，该算法还为单个单词创建了一个“密集嵌入”（即具有许多不同非零值的高维向量）。看：

https://radimrehurek.com/gensim/models/word2vec.html

而且，对于某些语言和目的，FastText 算法可以根据这些单词中的子字符串为以前从未见过的单词提供比随机更好的猜测向量：

https://radimrehurek.com/gensim/models/fasttext.html

Gensim 的KeyedVectors类还可以加载在其他地方训练的 GLoVe 向量集，用于将这些向量应用于其他任务：

from gensim.models import KeyedVectors

glove_kv = KeyedVectors.load_word2vec_format(GLOVE_FILE, binary=False, no_header=True)
print(glove_kv['apple'])