word2vec - 不同语法的word2vec

Question

如果在不同的语言和不同的语法上实现 word2vec 的效果是什么？我的意思是 word2vec 是第一次在英语语料库上实现，如果我们使用另一种语言语料库有什么影响吗？

标签： word2vecword-embedding

Answer 1

Word2vec 已应用于多种语言 - 也作为语言到语言翻译策略的一部分，其中 word2vec 模型是在每种语言上分别学习的。

Word2vec 不依赖于英语语法的任何细节。相反，它只需要按自然顺序输入单词序列。

（在将单词序列传递给 word2vec 训练之前，没有清楚地指示单词的语言可能需要更复杂的标记化，但这超出了 word2vec 算法本身，一旦给定了正确的单词标记 word2vec 应该仍然能够学习具有通常理想排列的词向量。）