python - 当数据集的一行有多个标签的可能性时，是否可以训练 BERT 进行句子分类？

Question

我们有一个包含几千个句子的数据集，每个句子都有几个标签。

例如：

• “你是个坏人”
• 【挑衅、审判】

这两个标签都有效并被接受。

目前我们在第一个上训练 BERT，它工作得很好，除了我们需要在这两个上训练它以适应我们的用例。

我们的第一个想法是复制数据集的行。所以我们有：

第 123.1 行

• “你是个坏人”
• 挑衅

第 123.2 行

• “你是1个坏人”
• 判断

我们担心的是：

• 它可能会稀释这句话在训练期间获得的权重（可能没什么大不了的？）
• 它不适用于测试集，除非我们从头开始创建一个训练场景，我们承认这两个标签都被认为是成功的

对于这个用例，还有 1 种更相关的工作方式吗？

标签： pythontensorflowtext-classificationbert-language-modelhuggingface-transformers