时间戳

首页 > 解决方案 > spark-streaming-kafka 不适用于 scala-library

apache-spark - spark-streaming-kafka 不适用于 scala-library

问题描述

我正在尝试设置kafka_2.11-1.1.0与spark-2.2.0.

根据这里的官方文档 https://spark.apache.org/docs/2.2.0/structured-streaming-kafka-integration.html 我已经下载spark-streaming-kafka-0-8-assembly_2.10-2.2.0.jar并将其放到SPARK_HOME/jars.

我已经成功创建了流对象

kafkaStream = KafkaUtils.createStream(
    ssc, 
    '127.0.0.1:2181', 
    'spark', 
    {'test':1}
)

但是当我跑步时

ssc.start()
ssc.awaitTermination()

我明白了

java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class

正如我从那看到的scala-library-2.11.8.jar那样，spark-2.2.0 jars它只是scala/collection/GenTraversableOnce存在的一部分。

scala/collection/GenTraversableOnce$class不存在 - 它在早期版本中存在。

那么这是什么意思呢？这种集成根本不起作用spark-2.2.0？

如果您有此集成工作，请分享您的成功经验。

标签： apache-sparkapache-kafka

解决方案

推荐阅读