apache-spark - Spark-submit 失败，返回码为 13，例如 wordCount

Question

我的 spark-submit 命令是：

spark-submit --class com.sundogsoftware.spark.WordCountBetterDataset --master yarn --deploy-mode cluster SparkCourse.jar

为了定义 sparkSession，我使用这个：

val spark = SparkSession
  .builder
  .master("spark://youness:7077")
  .appName("WordCount")
  .getOrCreate()

但最后，我的工作以返回码 13 失败。

标签： apache-sparkhadoophadoop-yarnspark-submit

Answer 1

您需要master在代码中取消设置。最好稍后在您发出spark-submit( spark-submit --master yarn-client ...) 并且您已经在上面进行设置时进行设置。只需.master("spark://youness:7077")从您的代码中删除。