scala - SparkSession 不存在

Question

我正在尝试使用 Scala 2.11.12 在 Spark 2.3.0 中定义一个 udf。在我看来，我需要通过阅读文档SparkSession.udf()来做到这一点。

但我不能导入这个对象，

import org.apache.spark.sql.SparkSession

导致：

Error:(2, 8) object SparkSession is not a member of package org.apache.spark.sql
import org.apache.spark.sql.SparkSession

这是我的 build.sbt：

name := "webtrends-processing-scala"

version := "0.1"

scalaVersion := "2.11.12"

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.3.3"

libraryDependencies += "io.lemonlabs" %% "scala-uri" % "1.4.3"

标签： scalaapache-spark

Answer 1

您必须包括spark sql依赖项：

libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "2.3.0",
                            "org.apache.spark" %% "spark-sql"  % "2.3.0")