大家好,又见面了,我是你们的朋友全栈君。
map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。
flatMap的操作是将函数应用于rdd之中的每一个元素,将返回的迭代器的所有内容构成新的rdd。通常用来切分单词。
Spark 中 map函数会对每一条输入进行指定的操作,然后为每一条输入返回一个对象。 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”:
操作1:同map函数一样:对每一条输入进行指定的操作,然后为每一条输入返回一个对象
操作2:最后将所有对象合并为一个对象
object fla_map {
def main(args: Array[String]): Unit = {
val rdd1= List(List("A","B"),List("C","D"))
rdd1.map( i => println(i))
println(rdd1)
println("----------------------")
val strings = rdd1.flatMap(f => f)
println(strings)
strings.foreach( i => println(i))
}
}
map:List里有小的List
flatmap:是先flat再map,只能压一次,形成一个新的List集合,把原元素放进新的集合里面
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/136208.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...