scala - 如何通过scala中的参数传递文本文件

Question

试图将文本文件传递给函数以在 Scala 中做一些事情，但我不知道如何将它传递给函数。

我想传递它，因为我有多个文本文件，并且完成的工作非常紧张

object SimpleApp {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("Simple Application")
    val sc = new SparkContext(conf)
val books = sc.textFile(
      "hdfs://quickstart.cloudera:8020/user/cloudera/books/books2/*"
    )
checkLang(books)

}


def checkLang (books: textFile)  = {


//do sonething

}

标签： scalaapache-sparkmapreducerdd

Answer 1

import org.apache.spark.rdd.RDD

def checkLang (books: RDD[String]){
//do stuff

}