首页 > 技术文章 > 一眼看懂map和flatmap的区别

deepJL 2021-07-07 19:24 原文

一眼看懂map和flatmap的区别

map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。

flatMap的操作是将函数应用于rdd之中的每一个元素,将返回的迭代器的所有内容构成新的rdd。通常用来切分单词。

Spark 中 map函数会对每一条输入进行指定的操作,然后为每一条输入返回一个对象。 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”:

操作1:同map函数一样:对每一条输入进行指定的操作,然后为每一条输入返回一个对象

操作2:最后将所有对象合并为一个对象

object fla_map {<!-- -->
 def main(args: Array[String]): Unit = {<!-- -->
    val rdd1= List(List("A","B"),List("C","D"))

    rdd1.map( i =&gt; println(i))
    println(rdd1)
    println("----------------------")
    val strings = rdd1.flatMap(f =&gt; f)
    println(strings)
    strings.foreach( i =&gt; println(i))
  }
}


在这里插入图片描述

推荐阅读