apache-spark - 使用 Frameless 和 Spark 2.1 时找不到参数 sqlContext 编译错误的隐式值
问题描述
尝试使用 spark 2.1 测试无框架 0.7.0 但是当我运行它时:
implicit val sqlContext = spark.sqlContext // required for frameless
val artistsTDS: TypedDataset[Artist] = TypedDataset.create(defaultArtists)
我收到以下编译错误:
could not find implicit value for parameter sqlContext: org.apache.spark.sql.SparkSession
以下内容也不会打印我的数据集,感谢 user6910411 添加implicit val sqlContext: SparkSession = spark
解决了我原来的编码器错误,但现在我得到了以下内容。
如果我尝试无框架 0.4.0 那么它似乎可以编译但我在运行时得到以下信息:
java.lang.NoSuchMethodError: org.apache.spark.sql.catalyst.expressions.objects...
解决方案
推荐阅读
- spring - Is there a way to persist a field in Elasticsearch but not in mongodb?
- ios - 与服务器实时同步的 Swift 数据库
- prolog - 对 prolog 工作原理的误解
- python - 如何在 If 语句中退出/中断 Python 自动化脚本(不在循环内)
- swift - 如果 ForEach 循环嵌套,SwiftUI LazyHStack / LazyVStack 是否仍然有效?
- php - 如何使用 $request 在 symfony 中请求数据
- mysql - 将列的聚合与同一表的另一列进行比较
- algorithm - 如何使用约束解决分配问题?
- json - Tornadofx REST 客户端
- zsh - 如何知道安装了哪个ZSH配置框架?