python - 使用变压器模型的抽象摘要不适用于 Gunicorn 服务器

Question

我正在研究抽象摘要并为其选择 Google-Pegasus-xsum 模型。它正在使用 Flask 服务器在我的本地设置中找到。但是当我尝试在 gunicorn 服务器上提供它时，它永远不会加载模型并进入无限加载并且服务器永远不会启动。

这是我的代码：

from transformers import PegasusTokenizer, TFPegasusForConditionalGeneration
def load_model():
    print("Loading Model")
    model = TFPegasusForConditionalGeneration.from_pretrained('google/pegasus-xsum')
    tokenizer = PegasusTokenizer.from_pretrained('google/pegasus-xsum')

在启动服务器时，它调用 load_model 但模型永远不会加载，它会打印加载模型，然后在某个时间服务器重新启动并且加载模型后永远不会继续。

谁能建议是什么问题？

标签： pythontensorflowflaskgunicornhuggingface-transformers