nlp - BERT 多语言模型 - 用于分类

Question

我正在尝试使用 BERT 构建多语言分类模型。

我正在使用基于特征的方法（连接前 4 个隐藏层的特征）并在此之上构建一个 CNN 分类器。

之后，我使用来自同一域的不同语言（比如中文）进行测试，但这些语言的准确性几乎为零。

我不确定我是否理解论文，所以这是我的问题：

是否可以在一种语言（例如英语）上微调 BERT 多语言模型或使用基于特征的方法来提取特征并构建分类器，然后将此模型用于不同的语言（支持语言列表中的其他语言） BERT 的文档）？

另外，我的假设是“关于它映射的 BERT，我认为它的嵌入层将来自具有相同上下文的不同语言的单词映射到相似的集群”，对吗？

标签： nlpstanford-nlplstmtext-classificationmultilabel-classification