首页 > 解决方案 > 使用 Frameless 和 Spark 2.1 时找不到参数 sqlContext 编译错误的隐式值

问题描述

尝试使用 spark 2.1 测试无框架 0.7.0 但是当我运行它时:

  implicit val sqlContext = spark.sqlContext // required for frameless
  val artistsTDS: TypedDataset[Artist] = TypedDataset.create(defaultArtists)

我收到以下编译错误: could not find implicit value for parameter sqlContext: org.apache.spark.sql.SparkSession

以下内容也不会打印我的数据集,感谢 user6910411 添加implicit val sqlContext: SparkSession = spark解决了我原来的编码器错误,但现在我得到了以下内容。

在此处输入图像描述

如果我尝试无框架 0.4.0 那么它似乎可以编译但我在运行时得到以下信息:

java.lang.NoSuchMethodError: org.apache.spark.sql.catalyst.expressions.objects...

标签: apache-spark

解决方案


推荐阅读