scala - 在 hadoop 集群上提交 spark JAR 时出现 ClassNotFoundException 问题

Question

从 hadoop 集群运行 .JAR 时，我面临以下故障，并且此 .JAR 文件是使用 Intellij 生成的。有人可以帮助解决这个问题。

• 面对错误：

错误 yarn.ApplicationMaster：未捕获的异常：java.lang.ClassNotFoundException：scalaSparkHiveSample

• 项目代码：

import org.apache.spark.sql.SparkSession

object scalaSparkHiveSample {
  def main(args: Array[String]): Unit = {
      val spark=SparkSession
      .builder
      .appName("SampleSparkPrg")
      .config("spark.master","local")
      .enableHiveSupport()
      .getOrCreate()
    val sampleSeq=Seq((1,"spark"),(2,"Hive"))
    val df=spark.createDataFrame(sampleSeq).toDF(colNames = "sno","name")
    println("DF Created")
    df.show() 
}}

• 提交命令：

spark2-submit --class scalaSparkHiveSample --queue <--> /development/ph9/data/SReddy/UHAP_AE_Project-v1.jar

标签： scalaapache-sparkapache-spark-sql