scala - Scala IDE 中的 Spark SaveAsTextFile() 创建“temporay->0”文件夹结构，而不是函数中提到的那个

Question

使用 Scala IDE 将输出保存在具有以下代码的文件中

---

import org.apache.spark.sql.SparkSession

object RDDWithCSVFile {
  def main(args : Array[String]): Unit={
    val spark=SparkSession.builder()
    .appName("Creating RDD with CSV Files")
    .master("local")
    .getOrCreate()

    val rdd= spark.sparkContext.textFile("src/test/resources/datasets/CDH_Wellness.csv")

    val header=rdd.first()

    val csvwithoutheader= rdd.filter(!_.contains(header))

    val elements= rddwithoutheader.map(line => {
      val colarray = line.split(",")
      Array((colarray(0),colarray(4),colarray(5),colarray(10))).mkString(" ")

    })

      elements.saveAsTextFile("C:/Spark_Files/RDDWithCSVFile/New Folder") 
  }
}

---

但不是创建输出文件-> part-00000,SUCCESS ，而是创建以下文件夹结构

C:\Spark_Files\RDDWithCSVFile\New Folder_temporary\0_temporary\attempt_20200526184311_0006_m_000000_0

在此目录下，仅创建了 part-00000，但它是一个空文件。没有创建 SUCCESS 文件。

任何人都可以提供任何建议。

标签： scalacsvapache-sparkexceptionide

Answer 1

引起：java.io.IOException: (null) entry in command string: null chmod 0644 C:\Spark_Files\RDDWithCSVFile\New Folder_temporary\0_temporary\attempt_20200527112424_0006_m_000000_0\part-00000

控制台错误