时间戳

首页 > 解决方案 > 如何使用 spacy_langdetect 包中的 LanguageDetector()？

python - 如何使用 spacy_langdetect 包中的 LanguageDetector()？

问题描述

我正在尝试使用 spacy_langdetect 包，我能找到的唯一示例代码是（https://spacy.io/universe/project/spacy-langdetect）：

import spacy
from spacy_langdetect import LanguageDetector
nlp = spacy.load("en_core_web_sm")
nlp.add_pipe(LanguageDetector(), name='language_detector', last=True)
text = 'This is an english text.'
doc = nlp(text)
print(doc._.language)

它抛出错误：nlp.add_pipe现在采用已注册组件工厂的字符串名称，而不是可调用组件。

所以我尝试使用以下内容添加到我的 nlp 管道中

language_detector = LanguageDetector()
nlp.add_pipe("language_detector")

但这会产生错误：找不到语言英语（en）的“language_detector”工厂。当 spaCynlp.create_pipe使用未在当前语言类上注册的自定义组件名称调用时，通常会发生这种情况。如果您使用的是 Transformer，请确保安装“spacy-transformers”。如果您使用的是自定义组件，请确保您已添加装饰器@Language.component（用于函数组件）或@Language.factory（用于类组件）。可用工厂：attribute_ruler、tok2vec、merge_noun_chunks、merge_entities、merge_subtokens、token_splitter、parser、beam_parser、entity_linker、ner、beam_ner、entity_ruler、lemmatizer、tagger、morphologizer、sender、sentencizer、textcat、textcat_multilabel、en.lemmatizer

我不完全理解如何添加它，因为它不是真正的自定义组件。

标签： pythonspacy

解决方案

对于非内置组件（例如 LanguageDetector）的 spaCy v3.0，您必须在将其添加到 nlp 管道之前将其包装到一个函数中。在您的示例中，您可以执行以下操作：

import spacy
from spacy.language import Language
from spacy_langdetect import LanguageDetector

def get_lang_detector(nlp, name):
    return LanguageDetector()

nlp = spacy.load("en_core_web_sm")
Language.factory("language_detector", func=get_lang_detector)
nlp.add_pipe('language_detector', last=True)
text = 'This is an english text.'
doc = nlp(text)
print(doc._.language)

内置组件（即tagger、parser、ner等）见：https ://spacy.io/usage/processing-pipelines

推荐阅读