deep-learning - 使用 Transformers 在通用文本中进行情感分析

Question

如果我想在通用文本（与电影无关）中进行情感分析，那么使用 BERT（或任何其他基于 Transformers 的模型）对 IMDb 等数据集进行微调是否正确？

如果没有，我该怎么办？

标签： deep-learningsentiment-analysistext-classificationbert-language-modeltransformer

Answer 1

不，因为训练数据的域（IMDB 评论）与您要评估的域不同。这违反了机器学习的主要假设之一，即训练数据和测试/生产数据来自同一分布。

您可以做的称为“域适应”，因为您想在不同的域上执行相同的任务。但是为此，您需要标记数据，即对于每个文本，您需要有一个标签“正”/“负”/...