时间戳

首页 > 解决方案 > Spacy 英语语言模型加载时间过长

python - Spacy 英语语言模型加载时间过长

问题描述

我正在尝试使用 python 制作一个聊天机器人，为此我使用 Spacy 进行实体识别，所以我安装了预构建的 Spacy 英语语言模型（中）来从用户话语中提取实体，但问题是当我加载模型时要从用户话语中提取实体，加载模型需要 31 秒，因为在我的情况下，聊天机器人的时间真的很重要。需要大家的指导，还有其他选择吗？任何帮助将非常感激

下面是从用户话语中提取实体的代码：

import spacy
import time
def extractEntity(userUtterance):
    ''' This funtion returns a list of tuple a tuple contain 
        (entity Name, Entity Type)    
        We use pre build spacy english language model to extract entities
    '''
    start_time = time.process_time()
    nlp = spacy.load("en")
    print(time.process_time() - start_time, "seconds") # prints the time taken to load the model
    docx = nlp(userUtterance)
    listOfTyples = [(word.text, spacy.explain(word.label_)) for word in docx.ents]
    return listOfTyples

if __name__ == "__main__":
    print(extractEntity("I want to go to London, can you book my flight for wednesday"))

输出：

31.0 seconds
[('London', 'Countries, cities, states'), ('wednesday', 'Absolute or relative dates or periods')]

标签： pythonchatbotspacynamed-entity-recognition

解决方案

这真的很慢，因为它为每个句子加载模型：

import spacy

def dostuff(text):
    nlp = spacy.load("en")
    return nlp(text)

这并不慢，因为它会加载一次模型并为每个函数调用重新使用它：

import spacy

nlp = spacy.load("en")

def dostuff(text):
    return nlp(text)

您应该将您的应用程序更改为类似于第二个示例。这不是 spaCy 特有的，但您选择使用的任何类型的模型都会出现这种情况。

推荐阅读