pytorch - BertForTokenClassification 有额外的输出

Question

我正在使用 PyTorch 的 BertForTokenClassification 预训练模型进行自定义词标记（不是 NER 或 POS，但基本相同）。有 20 种不同的可能标签（使用 BIO 方案）：9 个 B、9 个 I 和一个 O。尽管有 19 个可能的标签，但在 BERT 之上添加的前馈层有 20 个标签。我也使用过其他数据集，结果是一样的：输出总是比类数多一个。谁能告诉我这是为什么？

标签： pytorchbert-language-modelhuggingface-transformersnamed-entity-recognition

Answer 1

我想到了。原因是因为我没有计入PAD令牌。