java - Apache Spark with Java：同时启动多个应用程序请求

Question

我们在 java 中使用 spark 并创建了 Java REST api 来调用我们的 spark 代码。在调用 REST url 时，我的 java 方法将创建 SparkSession 和 Context 以继续计算。这适用于单个请求，但同时对于多个请求，我们收到与 SparkContexts 相关的问题：Multiple SparkContexts in same Driver JVM

还尝试使用： conf.set("spark.driver.allowMultipleContexts", "true");

请建议如何管理同时火花请求的火花上下文。或者任何其他处理这种情况的方法？

标签： javaapache-sparkhadoopbigdata

Answer 1

有几个开源选项可用。
1. Spark jobserver - 提供一个 RESTful 接口，用于将请求提交到相同的 spark 上下文。
2. Zeppelin , Livy - 用于提交 Spark 请求的 Notebook 接口。
它们还公开 REST 端点以提交 Spark。