scala - Spark - 错误：无法加载类 - spark-submit

Question

我使用 Intellij 创建 sbt 项目并将 Artifacts 构建为 jar 文件。我将 jar 文件放到服务器并提交，但出现此错误：

spark-submit --master spark://master:7077 --class streaming_process spark-jar/spark-streaming.jar

错误：无法加载类 streaming_process。
21/01/23 04:41:32 信息 ShutdownHookManager：称为关闭挂钩
21/01/23 04:41:32 信息 ShutdownHookManager：删除目录 /tmp/spark-982e8fe3-9421-45bd-aced-e46c4d756054

我的代码

// Code Block 2 Starts Here
    val spark = SparkSession.builder
      .master("spark://master:7077")
      .appName("Stream Processing Application")
      .getOrCreate()

    spark.sparkContext.setLogLevel("ERROR")
    // Code Block 2 Ends Here

    // Code Block 3 Starts Here
    // Stream meetup.com RSVP Message Data from Kafka
    val meetup_rsvp_df = spark.readStream
      .format("kafka")
      .option("kafka.bootstrap.servers", kafka_bootstrap_servers)
      .option("subscribe", kafka_topic_name)
      .option("startingOffsets", "latest")
      .load()

你可以看到我的项目图片：

标签： scalaapache-sparkspark-streamingspark-submit

Answer 1

JVM 找不到包含 streaming_process 类的 jar。请使用--jars spark-jar/spark-streaming.jar选项。