stanford-nlp - ELMo、BERT 和 GloVe 之间的比较

Question

ELMo、BERT、GloVe在单词表示上有什么区别？他们在执行词嵌入任务方面有何不同？与其他人相比，哪个更好，每个人都有哪些优点和缺点？

标签： stanford-nlpword-embeddingbert-language-modelelmo

Answer 1

这是一个很大的问题。

我将专注于文字表示。

ELMo、BERT 和 GloVe可以分为两大类。GloVe是非上下文词嵌入，ElMo、BERT属于上下文词嵌入。

第二组可分为单向模型（ELMo）和双向模型（BERT）。

首先，我们可以尝试理解 4 个术语：非上下文/上下文词嵌入和单向/双向模型。

之后，我们可以更深入地了解其他差异。