apache-spark - 通过 API 访问 spark 程序

Question

我有一个 spark mlib 程序启动并运行，它将 nlp 应用于自由文本。我需要通过rest api访问这个程序。例如：我需要通过调用这些 API 在 Excel 工作表的每一行上应用 ml（转换每一行并从上述 ml 程序中获取结果）。我该怎么做？基本上是试图在 spark 程序周围有一个 API 包装器，而不是去 jupyter notebook 并手动执行它。

标签： apache-sparkspark-streaming

Answer 1

如果您只想通过其余 API 进行预测，那么您最好的解决方案可能是： - 将您的模型转换为 PMML 并制作一个 Web 应用程序来使用它 - 将您的模型转换为 MLeap 并使用 mleap-serving/mleap-spring-boot 来托管您的机器学习模型。

您也可以在 web 环境中实现 spark，但您应该考虑 spark 需要的资源密集型操作。

您也可以使用任何 scala IDE 来处理您的项目。我更喜欢 Intelij IDEA，但你也可以使用 Eclipse。（你不必，你可以简单地从 Jupiter 导出到 PMML/Mleap）