nlp - FastApi 和 SpaCy 的 MemoryError

问题描述

我正在运行一个FastAPI (v0.63.0) Web 应用程序，它使用SpaCy (v3.0.5) 对输入文本进行标记。Web 服务运行一段时间后，总内存使用量增长过大，SpaCy 抛出 MemoryErrors，导致 Web 服务出现 500 错误。

XXX.internal web[17552]: MemoryError:
XXX.internal web[17552]: INFO:     xxx - "POST /page HTTP/1.1" 500 Internal Server Error
XXX.internal web[17552]: ERROR:    Exception in ASGI application
[...]
XXX.internal web[17552]: Traceback (most recent call last):
XXX.internal web[17552]: File "spacy/tokens/token.pyx", line 263, in spacy.tokens.token.Token.text.__get__                                                                                                                                        
XXX.internal web[17552]: File "spacy/tokens/token.pyx", line 806, in spacy.tokens.token.Token.orth_.__get__                                                                                                                                       
XXX.internal web[17552]: File "spacy/strings.pyx", line 132, in spacy.strings.StringStore.__getitem__
XXX.internal web[17552]: KeyError: "[E018] Can't retrieve string for hash '10429668501569482890'. This usually refers to an issue with the `Vocab` or `StringStore`."

这是我的相关部分main.py：

@app.post(f"/page", response_model=PageResponse)
async def classify(request: PageRequest):
    try:
        preprocessed = await preprocessor.preprocess(request.text)
    [...]

该preprocessor对象是一个类的实例，它的preprocess方法调用 SpaCy 标记器：

class SpacyTokenizer(Tokenizer):
    def __init__(self, nlp: spacy.Language):
        self._nlp = spacy.load("en_core_web_sm")

        for component in self._nlp.pipe_names:
            # we only need tokenization
            self._nlp.remove_pipe(component)

    def tokenize(self, text: str) -> Iterable[str]:
        if len(text) >= self._nlp.max_length:
            raise ValueError(f"Text too long: {len(text)} characters.")

        try:
            doc = self._nlp(text)
            return islice(
                (token.text for token in doc), settings.SPACY_MAX_TOKENS
            )
        except MemoryError:
            raise ValueError(f"Text too long: {len(text)} characters.")

正如您在代码中看到的那样，我试图通过限制生成的令牌数量并捕获MemoryError. 不过，两者似乎都没有任何效果（我确实知道从MemoryError概念上捕获通常不会起作用）。

我观察到服务器机器上的工作进程随着时间的推移不断使用更多内存：

17552 webapp    20   0 2173336   1,6g   7984 S  4,7 79,9  33:29.04 uvicorn

当该过程开始时，该uvicorn过程需要〜700MB而不是1,6g。

从错误消息中，我想很明显 SpaCy 标记器是罪魁祸首。但是，我希望它在处理请求时释放一个工作线程以释放其内存，因此 FastAPI 或 Uvicorn 似乎也是一个合理的根本原因。

我的主要问题是：我在哪里以及如何调试它？

关于旧 SpaCy 问题的类似讨论表明，nlp偶尔重新加载对象可能是一种解决方法。我不确定这是否仍然适用于更新的 SpaCy 版本，以及应该如何解决。

另一方面，是否有 FastAPI 或 Uvicorn 选项可以处理释放其线程的内存？

标签： nlpspacyfastapiuvicorn

nlp - FastApi 和 SpaCy 的 MemoryError

问题描述

解决方案

推荐阅读