azure - Azure 函数应用在几秒钟后停止响应,导致超时
问题描述
我正在尝试将 spark-nlp 作为 azure 函数运行。
我有一个使用 docker 容器运行的函数应用程序。我的函数应用程序代码在 python 上运行,并且我在其中运行 pyspark 时还安装了 java。我在一个函数中使用 python 的烧瓶来处理传入的请求。
一旦函数应用程序启动并且容器正在运行,在最初的几秒钟内,我会收到 API 调用的响应,但仅在几秒钟(~15-20 秒)后,由于服务器没有响应,API 调用就会开始超时。
函数应用在专用应用服务计划上运行并设置为“始终开启”。
这种行为的原因是什么?
这是我的函数应用程序代码:
import logging
import azure.functions as func
# Imports for Spark-NLP
import os
import sys
sys.path.append('/home/site/wwwroot/contextSpellCheck/spark-2.4.7-bin-hadoop2.7/python')
sys.path.append('/home/site/wwwroot/contextSpellCheck/spark-2.4.7-bin-hadoop2.7/python/lib/py4j-0.10.7-src.zip')
import sparknlp
from sparknlp.annotator import *
from sparknlp.common import *
from sparknlp.base import *
from sparknlp.annotator import *
from flask import Flask, request
app = Flask(__name__)
spark = sparknlp.start()
documentAssembler = DocumentAssembler().setInputCol("text").setOutputCol("document")
tokenizer = RecursiveTokenizer().setInputCols(["document"]).setOutputCol("token").setPrefixes(["\"", "(", "[", "\n"]).setSuffixes([".", ",", "?", ")", "!", "'s"])
spellModel = ContextSpellCheckerModel.load("/home/site/wwwroot/contextSpellCheck/spellcheck_dl_en_2.5.0_2.4_1588756259065").setInputCols("token").setOutputCol("checked")
finisher = Finisher().setInputCols("checked")
pipeline = Pipeline(stages=[documentAssembler, tokenizer, spellModel, finisher])
empty_ds = spark.createDataFrame([[""]]).toDF("text")
lp = LightPipeline(pipeline.fit(empty_ds))
@app.route('/api/testFunction', methods = ['GET', 'POST'])
def annotate():
global lp
if request.method == 'GET':
text = request.args.get('text')
elif request.method == 'POST':
req_body = request.get_json()
text = req_body['text']
return lp.annotate(text)
def main(req: func.HttpRequest, context: func.Context) -> func.HttpResponse:
logging.info('Python HTTP trigger function processed a request.')
return func.WsgiMiddleware(app).handle(req, context)
解决方案
您可能正在为每个请求创建一个管道。您有一个包含多种语言的堆栈,可能是其中一个库具有此功能。
请参阅https://stanfordnlp.github.io/CoreNLP/memory-time.html#avoid-creating-lots-of-pipelines中的“避免创建大量管道”部分
推荐阅读
- android - [AppGalleryConnectLinkManageService]ios bundleId 没有权限
- java - 在 Uber Cadence 上获取注册活动
- ruby-on-rails - ruby on rails graphql 测试文件
- r - 从列表中提取行
- javascript - Django子HTML模板中的Javascript不起作用
- powershell - 如何将第一个表的值映射或匹配到第二个表?
- css - 撤消,恢复!重要,退回到内联样式?
- c++ - 未定义对 cv::plot::Plot2d::render bur for cv::plot::Plot2d::create 的引用一切正常
- oracle - com.oracle.ojdbc:ojdbc8 vs com.oracle.database.jdbc:ojdbc8 - 有什么区别?
- vba - 搜索未从公式中返回特定文本的单元格范围,然后复制并粘贴值以锁定结果