scala - HD 洞察 Spark 从事件中心检索消息得到 java.lang.NoClassDefFoundError: org/apache/spark/eventhubs/ConnectionStringBuilder$ 错误

Question

我正在尝试建立与事件中心的连接以检索消息，我可以在 azure hdinsight 门户中提供的 Jupyter 笔记本中运行它。尝试在 intellij 中设置相同的内容时出现错误。

错误：作业状态已死 错误：诊断：在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java: 43) 在 java.lang.reflect.Method.invoke(Method.java:498) 在 org.apache.spark.deploy.yarn.ApplicationMaster$$anon$4.run(ApplicationMaster.scala:721) 引起：java.lang .ClassNotFoundException: org.apache.spark.eventhubs.ConnectionStringBuilder$ 在 java.lang.ClassLoader 的 java.lang.ClassLoader.loadClass(ClassLoader.java:424) 的 java.net.URLClassLoader.findClass(URLClassLoader.java:382)。 loadClass(ClassLoader.java:357) ... 还有 7 个

下面提供了代码示例

    import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.eventhubs._
import org.apache.spark.sql.types._
import org.apache.spark.sql.functions._
import org.apache.spark._
object SparkStreaming_Event {
  def main(args: Array[String]) {
    val sparkConf = new SparkConf().setAppName("StreamEvents")
    val ssc = new StreamingContext(sparkConf, Seconds(10))
    val connectionString = ConnectionStringBuilder("Connectionstring").setEventHubName("Name").build
    val ehConf = EventHubsConf(connectionString)
      .setStartingPosition(EventPosition.fromEndOfStream)
      .setMaxRatePerPartition(10000)
    val stream = EventHubsUtils.createDirectStream(ssc, ehConf)
    stream.print()
    ssc.start()
    ssc.awaitTermination()
  }
}

知道我在这里缺少什么，我可以在外部库下看到罐子。

标签： scalaapache-sparkintellij-ideaazure-eventhub

Answer 1

我得到它的工作，回答我自己的问题。

虽然我们已经在构建工具中提供了依赖项，但我们需要在 Azure 中上传相应的 jar 文件以使它们可用于 Hdinsight 集群。

1.上传blob存储中的jar（与hdinsight相关）

2.在spark jars字段中提供IntelliJ Idea中hdinsight的运行配置中的blob路径，如下所示。

wasb://[e-mail]/foldername/jarfile.jar

希望这对某人有所帮助。