scala - Jackson 数据绑定依赖版本错误 spark 和 scala
问题描述
我正在尝试使用火花流从 kafka 获取数据,并且我使用的是 jackson databind 版本 2.8.7,但它说它需要 jackson databind 版本 >=2.8.0 和 <2.9.0
val stream = KafkaUtils.createDirectStream[String, String](
scc,
PreferConsistent,
Subscribe[String, String](topics, kafkaParams)
)
在这里,在 Subscribe[String, String](topics, kafkaParams) 行显示错误
Exception in thread "main" java.lang.ExceptionInInitializerError
at org.apache.spark.SparkContext.withScope(SparkContext.scala:699)
at org.apache.spark.SparkContext.makeRDD(SparkContext.scala:803)
at SparkConsumer2$.main(SparkConsumer2.scala:31)
at SparkConsumer2.main(SparkConsumer2.scala)
Caused by: com.fasterxml.jackson.databind.JsonMappingException:
Scala module 2.8.7 requires Jackson Databind version >= 2.8.0 and
< 2.9.0 at
com.fasterxml.jackson.module.scala.JacksonModule.setupModule(JacksonM
odule.scala:66)
at
com.fasterxml.jackson.module.scala.JacksonModule.setupModule$(JacksonModule.scala:51)
at com.fasterxml.jackson.module.scala.DefaultScalaModule.setupModule(DefaultScalaModule.scala:18)
at com.fasterxml.jackson.databind.ObjectMapper.registerModule(ObjectMapper.java:751)
at org.apache.spark.rdd.RDDOperationScope$.<init>(RDDOperationScope.scala:82)
at org.apache.spark.rdd.RDDOperationScope$.<clinit>(RDDOperationScope.scala)
... 4 more
19/07/24 14:27:10 INFO SparkContext: Invoking stop() from shutdown hook
解决方案
推荐阅读
- android - 如何从共享库中调用静态库函数?
- javascript - 为什么 for-of 循环中的这个对象解构不起作用?
- c# - 我怎样才能减少这些方法中的重复
- reactjs - React Jest:是否可以配置信任库?
- r - 显示多次修改的变量的值
- qt - Qt - 如何使用 QDir::entryList() 同时过滤具有特定文件类型和目录的文件
- forms - 如何或在何处捕获通过 Hapi 18 中的 HTML 表单提交的 HTML 输入数据?
- c# - 如何在 Xamarin ProgressBar 中设置最大值?
- python - 使用 matplotlib 在图像数据顶部进行线网格的像素精确定位
- python - 无法有多个会话来运行触发 python 脚本的@app.route