nlp - 是否可以将特定领域的 word2vec 嵌入和现成的 ELMo 嵌入结合起来用于下游无监督任务？
问题描述
我想知道我是否正确使用了词嵌入。
我将上下文化的词向量与静态词向量结合起来，因为：
- 我的领域语料库太小，无法从头开始有效地训练模型
- 我的领域太专业了，无法使用通用嵌入。
我使用现成的 ELMo 小型模型，并在一个小型领域特定语料库（大约 500 篇学术论文）上训练了 word2vec 模型。然后，我对来自两个不同嵌入的向量进行了简单的串联。
我大致遵循了本文中的方法： https ://www.aclweb.org/anthology/P19-2041.pdf 但本文中的方法训练了特定任务的嵌入。在我的领域中，没有标记的训练数据。因此，我只在语料库上训练嵌入。
我是 NLP 新手，如果我问了一个愚蠢的问题，我深表歉意。