时间戳

首页 > 解决方案 > 如何让 SpaCy 识别我所有给定的实体

python - 如何让 SpaCy 识别我所有给定的实体

问题描述

我有很多 JSONL 格式的模式列表，我加载并添加到实体标尺中

new_ruler = EntityRuler(nlp).from_disk(project_path + "data/skill_patterns.jsonl")
nlp.add_pipe(new_ruler)

当我打印结果时：print([(ent.text, ent.label_) for ent in doc.ents]) 我的输出是：

[('data science','SKILL|data-science'), ('CV', 'ORG'), ('Kandidaat', 'FAC'), ('één', 'CARDINAL'), ('LSTM',
 'ORG'), ('Parts', 'GPE'), ('Speech', 'GPE'), ('POS', 'ORG'), ('Entity Recognition', 'ORG'), 
('NER', 'ORG'), ('Word2vec', 'ORG'), ('GloVe', 'ORG'), ('Recursive', 'NORP'), ('Neural Networks', 'ORG'),
 ('Ensemble', 'PERSON'), ('Dynamic', 'NORP'), ('Intent detection', 'PERSON'), ('Phrase matching.-', 'ORG'),
 ('Microsoft', 'NORP'), ('Azure.-', 'ORG'), ('één', 'CARDINAL'), ('Python', 'WORK_OF_ART'),
 ('Pytorch', 'GPE'), ('Django', 'GPE'), ('GoLanguage.-', 'GPE'), ('Kandidaat', 'FAC'), ('1 november 2020', 'DATE')]

现在我知道一个事实，例如('Pytorch', 'GPE')or('Django', 'GPE')在我的模式列表中，应该被识别为SKILL而不是他们现在分配的实体。这也适用于许多其他“技能”。

{"label":"SKILL|django","pattern":[{"LOWER":"django"}]}
{"label":"SKILL|pytorch","pattern":[{"LOWER":"pytorch"}]}

有没有人知道为什么它不遵守我自己创建的实体？

有没有办法让我的实体优先于模型中已有的实体？

谢谢！

标签： pythonspacynamed-entity-recognition

解决方案

我找到了解决方案。

通过new_ruler在管道中添加 NER 之前（解析器之后），它赋予创建的实体优先级

nlp.add_pipe(new_ruler, after='parser')

推荐阅读