时间戳

首页 > 解决方案 > 如何存储词向量嵌入？

deep-learning - 如何存储词向量嵌入？

问题描述

我对这个领域很陌生NLP，Deep Learning想了解在使用 对整个语料库进行矢量化之后Word2Vec，我是否需要在本地存储单词向量值？如果是，我想为任何人制作一个聊天机器人，android.请指导我吗？

标签： deep-learninglstmword2vecopennlpword-embedding

解决方案

word2vec 嵌入可以保存：

  • 在你的深层模型的第一层。这是一种罕见的方法，因为在这种情况下，您不能将此 word2vec 用于其他任务。
  • 作为磁盘上的独立文件。对于大多数用例来说，它是更可行的方法。

我建议使用 gensim 框架来训练 word2vec。在这里您可以了解更多如何训练 word2vec 并将它们保存到磁盘：https ://radimrehurek.com/gensim/models/word2vec.html

特别是，通过以下方式执行保存：

model = Word2Vec(common_texts, size=100, window=5, min_count=1, workers=4)
model.save("word2vec.model")

聊天机器人的训练要困难得多。我可以尝试向您建议一个可能的工作流程，但您应该澄清您的想法是什么类型的聊天机器人？例如，它应该回答任何问题（开放域）吗？它应该生成答案还是只有预定义的答案？

推荐阅读