时间戳

首页 > 解决方案 > Spark Streaming Kafka CreateDirectStream 无法解决

scala - Spark Streaming Kafka CreateDirectStream 无法解决

问题描述

需要一些帮助，请。

我正在使用带有 SBT 的 IntelliJ 来构建我的应用程序。

我正在开发一个应用程序来阅读 Spark Streaming 中的 Kafka 主题，以便对其进行一些 ETL 工作。不幸的是，我无法阅读卡夫卡。

KafkaUtils.createDirectStream 没有解析并不断给我错误（CANNOT RESOLVE SYMBOL）。我已经完成了我的研究，看来我有正确的依赖关系。

这是我的 build.sbt：

name := "ASUIStreaming"
version := "0.1"
scalacOptions += "-target:jvm-1.8"
scalaVersion := "2.11.11"

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0"
libraryDependencies += "org.apache.spark" %% "spark-streaming" % "2.1.0"
libraryDependencies += "org.apache.spark" % "spark-streaming-kafka-0-8_2.11" % "2.1.0"
libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.1.0"
libraryDependencies += "org.apache.kafka" %% "kafka-clients" % "0.8.2.1"
libraryDependencies += "org.scala-lang.modules" %% "scala-parser-combinators" % "1.0.4"

有什么建议么？我还应该提到我在笔记本电脑上没有管理员访问权限，因为这是一台工作计算机，并且我使用的是便携式 JDK 和 IntelliJ 安装。但是，我在工作的同事也有同样的情况，对他们来说效果很好。

提前致谢！

标签： scalaapache-sparkapache-kafkasbtspark-streaming

解决方案

我能够解决这个问题。重新创建项目并再次添加所有依赖项后，我发现在 Intellij 中某些代码必须在同一行，否则无法编译。

在这种情况下，将val kafkaParams代码放在同一行（而不是放在代码块中）解决了这个问题！

推荐阅读