scala - 如何执行保存在文本文件中的spark scala脚本

Question

我已经在文本文件中编写了字数 scala-script 并将其保存在主目录中。如何调用和执行脚本文件“wordcount.txt”？

如果我尝试命令：spark-submit wordcount.txt，它不起作用。

“wordcount.txt”文件的内容——

val text = sc.textFile("/data/mr/wordcount/big.txt");
val counts = text.flatMap(line => line.split(" ").map(word => (word.toLowerCase(),1)).reduceByKey(+).sortBy(_._2,false).saveAsTextFile(“count_output”);

标签： scalaapache-spark