apache-spark - 在 Web 应用程序中使用 Apache Livy (flask)

Question

我正在使用 Flask 构建一个具有一些实时机器学习功能的网络应用程序。我想使用 Spark Mllib 分析数据并在应用程序中实时给出结果。然后我找到了我认为可能适合我的项目的 Livy。我阅读了 Livy 的文档，我了解到我可以像这样通过 Livy 将代码片段发送到 spark 集群

data = {'code': textwrap.dedent("""
val NUM_SAMPLES = 100000;
val count = sc.parallelize(1 to NUM_SAMPLES).map { i =>
  val x = Math.random();
  val y = Math.random();
  if (x*x + y*y < 1) 1 else 0
}.reduce(_ + _);
println(\"Pi is roughly \" + 4.0 * count / NUM_SAMPLES)
""")}

我的情况是我的应用程序后端有大量数据（数千行 json 格式的数据），我想用 Spark 进行分析。我的问题是如何使用 Livy 将数据传递给 Spark？我找不到任何具有大型数据集的工作示例。

标签： apache-sparkflaskweb-applicationsapache-spark-mlliblivy