scala - 从 sbt 运行 spark-shell

Question

获取 spark shell 的默认方式似乎是从网站下载发行版。然而， 这个 spark issue提到它可以通过sbt. 我找不到这方面的文档。在使用spark-sqland的 sbt 项目中spark-core，没有spark-shell找到二进制文件。

你如何spark-shell从 sbt 运行？

标签： scalaapache-sparksbtspark-shell

Answer 1

从以下网址：

https://bzhangusc.wordpress.com/2015/11/20/use-sbt-console-as-spark-shell/

如果您已经在项目中使用 Sbt，那么设置 Sbt 控制台以替换 Spark-shell 命令非常简单。让我们从基本情况开始。当您使用 sbt 设置项目时，您可以简单地将控制台运行为sbt console

在控制台中，您只需要启动 SparkContext 和 SQLContext 使其表现得像 Spark Shell

scala> val sc = new org.apache.spark.SparkContext("localhell")
scala> val sqlContext = new org.apache.spark.sql.SQLContext(sc)