spacy - 为什么我的 SpaCy v3 记分器在精度、召回率和 f1 方面返回 0?
问题描述
我有以下代码(从 SpaCy v2 迁移),我想在其中计算给定模型的精度、召回率和 f1 分数:
nlp = spacy.load("my_model")
scorer = Scorer(nlp)
examples = []
for text, annotations in TEST_DATA:
examples.append(Example.from_dict(nlp.make_doc(text), annotations))
results = scorer.score(examples)
print(
"Precision {:0.4f}\tRecall {:0.4f}\tF-score {:0.4f}".format(results['ents_p'], results['ents_r'], results['ents_f'])
)
我试图理解的奇怪事情是为什么它总是返回
Precision 0.0000 Recall 0.0000 F-score 0.0000
我的 TEST_DATA 集与我用来训练相同模型的 TRAIN_DATA 集的形式相同。这是它的样子:
[
(
'Line 106 – for dilution times, the units should be specified', {'entities': [(51, 60, 'ACTION'), (41, 47, 'MODAL'), (11, 40, 'CONTENT'), (0, 8, 'LOCATION')]}
),
(
'It should be indicated what test was applied to verify the normality of distribution.', {'entities': [(13, 22, 'ACTION'), (28, 85, 'CONTENT'), (3, 9, 'MODAL')]}
)
]
解决方案
记分器不会在预测文档上运行管道,因此您正在根据测试用例评估空白文档。
推荐的方法是使用nlp.evaluate
:
scores = nlp.evaluate(examples)
如果您出于某种原因想要直接调用记分员,另一种选择是在预测的文档(nlp
而不是nlp.make_doc
)上运行管道,因此:
example = Example.from_dict(nlp(text), annots)
推荐阅读
- scala - 加入后如何更新 Spark Scala 中的数据框列?
- c++ - 根据 c++ 标准在该宏定义中推送/弹出宏时的行为是什么
- docker - 将图像加载到在 k8s 中运行的 docker-in-docker (dind)
- image - 在 MATLAB 中将 2D 映射应用于 3D 数组
- java - java HttpURLConnection隧道错误407
- javascript - 用于在 SQL 代码中查找具有别名的表名的 JavaScript 正则表达式
- javascript - window.Worker 未定义
- angular - 如何根据Angular 5中的对象值状态显示div?
- dart - Visual Studio Code - Dart - 如何在新行上放置大括号?
- python - Python PyQt5如何更改最小化图标