azure - 如何从 Azure Databricks UI 实时发送响应？

Question

我已经在 Azure Databricks 中使用 Mlflow 注册了我的 ML 模型，并且有一个模型 URL。现在，在 Databricks 的另一个笔记本中，我正在准备数据（从 SQL 中检索）并根据从 Postman 作为 RestAPI 获取的输入参数对其进行过滤。接下来，我使用这个准备好的数据框（最多 20 条记录）来获取每一行的预测。并且，将此数据帧转换为 JSON 可序列化格式以将其作为响应发送给 Postman。笔记本运行时间为 2 秒。

每次收到请求时，都会运行一个 databricks 作业，并发送响应。我不确定为什么每个作业的运行时间为 12 秒或更多（尽管笔记本运行时间仅为 2 秒）。我实际上正在研究的是发送一个精心策划的响应，该响应将具有一些附加参数以及预测，以毫秒为单位的 RestAPI 形式（因为它是实时的）。

一切都在 Databricks 中完成。

我相信我在某个地方缺乏理解哪种架构可以帮助我们实现我的要求。请帮助我理解相同的内容。非常感谢，提前。

标签： azurepostmandatabricksjob-schedulingmlflow