时间戳

首页 > 解决方案 > 如何解决 spark-submit 错误：错误：加载类失败？

java - 如何解决 spark-submit 错误：错误：加载类失败？

问题描述

我写了一个scala文件：

package cn.tedu.wordcount

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object Driver {
  
  def main(args: Array[String]): Unit = {
    
    val conf=new SparkConf().setMaster("local").setAppName("wordcount")
    
    val sc=new SparkContext(conf)
    
    val data=sc.textFile("/Users/laiyinan/OneDrive/文档/书籍/大数据/达内BIG/大数据/大数据第四阶段/06-Spark/spark第一天/课后作业/data/word.txt", 2)

    val result=data.flatMap { _.split(" ")}
                   .map {(_,1)}.reduceByKey{_+_}
    
    result.foreach{println}               
  }
}

我使用以下命令将其提交到 spark 中：

./bin/spark-submit --class "cn.tedu.wordcount.Driver" /Users/laiyinan/Desktop/1902SparkDay01_jar.jar

我每次都收到这个错误： 在此处输入图像描述

错误：加载类 cn.tedu.wordcount.Driver 失败

我使用 Intellij Idea 来构建活动。包路径和类名正确。

我已经尝试了一些解决方案，但没有一个可以解决它。

我需要帮助！！！

任何帮助将不胜感激！！！！

标签： javascalaapache-sparkbuild

解决方案

我强烈建议使用sbt构建并使用sbt-assembly插件来制作您的应用程序 jar。

https://github.com/sbt/sbt-assembly

推荐阅读