python - 名词短语合并后如何获得句子的正确 pos 标签?
问题描述
我正在尝试在一个句子中合并名词短语块,然后获取合并文档中每个标记的 pos 标签。但是,对于每个合并的跨度,我似乎得到了跨度中第一个标记的 pos 标记(通常是 DET 或 ADJ)而不是 NOUN。
这是代码:
def noun_chunk_retokenizer(doc):
with doc.retokenize() as retokenizer:
for chunk in doc.noun_chunks:
retokenizer.merge(chunk)
return doc
nlp = spacy.load('en_core_web_sm')
nlp.add_pipe(noun_chunk_retokenizer)
query = "when is the tennis match happening?"
[(c.text,c.pos_) for c in nlp(query)]
这是我得到的结果:
[('when', 'ADV'),
('is', 'VERB'),
('the tennis match', 'DET'),
('happening', 'VERB'),
('?', 'PUNCT')]
但我期待“网球比赛”被标记为“名词”,这就是它在 displacy 演示中的工作方式:https ://explosion.ai/demos/displacy ?
似乎应该有一个“标准”的方式来做到这一点,但我不确定如何。
解决方案
您应该使用内置merge_noun_chunks
组件。请参阅管道功能文档:
将名词块合并为一个标记。也可以通过字符串 name 获得
"merge_noun_chunks"
。初始化后,通常使用nlp.add_pipe将组件添加到处理管道中。
您的字符串的示例用法:
import spacy
nlp = spacy.load('en_core_web_sm')
nlp.add_pipe(nlp.create_pipe('merge_noun_chunks'))
query = "when is the tennis match happening?"
[(c.text,c.pos_) for c in nlp(query)]
输出:
[('when', 'ADV'),
('is', 'VERB'),
('the tennis match', 'NOUN'),
('happening', 'VERB'),
('?', 'PUNCT')]
至于“如何在源代码中完成”的问题,请参考spacy Github repo,/spaCy/blob/master/spacy/pipeline/functions.py
文件在第 7 行:
def merge_noun_chunks(doc):
"""Merge noun chunks into a single token.
doc (Doc): The Doc object.
RETURNS (Doc): The Doc object with merged noun chunks.
DOCS: https://spacy.io/api/pipeline-functions#merge_noun_chunks
"""
if not doc.is_parsed:
return doc
with doc.retokenize() as retokenizer:
for np in doc.noun_chunks:
attrs = {"tag": np.root.tag, "dep": np.root.dep}
retokenizer.merge(np, attrs=attrs)
return doc
推荐阅读
- php - 请求在实时主机上不起作用,但在本地工作
- java - 多种类型的相同接口
- git - git添加节点模块没有响应
- android - NavigationView 上的 OnClickListener 不起作用
- angular - NG 测试在控制台中显示名称
- sql-server - 在 ASP.NET MVC 中执行 SQL Server 存储过程时如何防止超时错误?
- ios - 为什么远程指挥中心不显示在模拟器中?
- vb.net - 如何在不显示保存对话框的情况下保存 .htm 文件
- scala - 将数据帧缓存为临时视图('createOrReplaceTempView')时的 Spark 2.3 回归(vs 1.6)
- neo4j - SailsJS:添加第二个数据库适配器?