apache-spark - 在不安装 Spark 的情况下编写 Spark 单元测试

Question

我正在尝试为 spark 代码编写单元测试。我知道我们可以安装 Spark，然后使用 SparkConf 和 SparkContext 来编写测试。

但是，我想检查是否有任何方法可以在不安装 Spark 的情况下编写单元测试，因为我的客户不想在 Jenkins 服务器上安装 Spark，我们打算在其中作为自动化过程的一部分运行测试。

标签： apache-spark

Answer 1

您可以通过代码将 Spark 设置为在本地集群中运行：

val conf = new SparkConf().setAppName(appName).setMaster("local")
val context = new SparkContext(conf)

然后，您可以使用context创建RDDs数据进行测试：

context.makeRDD

• https://spark.apache.org/docs/latest/rdd-programming-guide.html#initializing-spark
• 火花中的 setMaster `local[*]` 是什么意思？
• https://spark.apache.org/docs/latest/api/java/org/apache/spark/SparkContext.html#makeRDD-scala.collection.Seq-int-scala.reflect.ClassTag-