spark flatmap

spark flatmapflatMap算子,在java中,接收的参数是FlatMapFunction,我们需要自己定义FlatMapFunction的第二个泛型类型,即,代表了返回的新元素的类型      call()方法,返回的类型,不是U,而是Iterable,这里的U也与第二个泛型类型相同      flatMap其实就是,接收原始RDD中的每个元素,并进行各种逻辑的计算和处理,返回可以返回多个元素

大家好,又见面了,我是你们的朋友全栈君。

     flatMap算子,在java中,接收的参数是FlatMapFunction,我们需要自己定义FlatMapFunction的第二个泛型类型,即,代表了返回的新元素的类型
        call()方法,返回的类型,不是U,而是Iterable<U>,这里的U也与第二个泛型类型相同
        flatMap其实就是,接收原始RDD中的每个元素,并进行各种逻辑的计算和处理,返回可以返回多个元素

  flatmap 和map的操作,map可以完成的,flatmap也可以完成,但是flatmap能完成的,map能完成吗?好像不行,比如说我要根据传进来的数据生成两个某个类的子类,那么map就无能为力了。

public static void myFlatMap(){

        SparkConf conf=new SparkConf()

        .setMaster(“local”)

        .setAppName(“myFlatMap”);

        List<String> list=Arrays.asList(“hello 2016″,”goodbye 2015”);

        JavaSparkContext sc=new JavaSparkContext(conf);

        JavaRDD<String> listRdd=sc.parallelize(list);

        JavaRDD<String> listFlatMap=listRdd.flatMap(new FlatMapFunction<String, String> (){

            private static final long serialVersionUID = 1L;

            @SuppressWarnings(“rawtypes”)

            @Override

            public Iterable<String> call(String s) throws Exception {

                // TODO Auto-generated method stub

                return Arrays.asList(s.split(” “));

            }

        });

        listFlatMap.foreach(new VoidFunction<String>(){

            @Override

            public void call(String s) throws Exception {

                // TODO Auto-generated method stub

                System.out.println(“s:”+s);

            }

            

        });

    }

结算结果:

s:hello
s:2016
s:goodbye
s:2015

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/136144.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • windows 显示进程的命令 TASKLIST 详解

    windows 显示进程的命令 TASKLIST 详解用jstat查看jvm内存的使用的情况时,因为是windows机器,不能使用top命令方便的查出来,进程好在网上搜了一下看到了在windows原来使用的是tasklist特意将tasklist的用法记录下来。原帖的地址是:http://hi.baidu.com/lgh_boffin/blog/item/314b1194fb957c18d21b70b6.html“Taskli

  • hdfs性能调优_spark写入hdfs文件太慢

    hdfs性能调优_spark写入hdfs文件太慢在集群的客户端使用hdf命令去查询的时候,出现一个响应特别慢的情况。同样的两个客户端节点,一个秒回,但是另一个可能需要数十秒才能响应。最终发现响应特别慢的原因是因为没有将hostname配置到/etc/hosts文件中…

  • 吉利gkui19安装第三方软件_第三方app

    吉利gkui19安装第三方软件_第三方app任意安装你想要的APP????文中使用的方法为DNS劫持车机应用商店,需要你具备一定的操作能力,否则将无法达到最终目的。????阅读本文,视为你有一定电脑基础,请不要重复询问无关痛痒的问题(百度就是最好的老师)!支持车型:博瑞GE全系列,18款20款博越、星越全系列、缤越全系列、缤瑞全系列、嘉际全系列等车型文中使用的dns地址为:47.95.115.6????教程所需物料:根据教程来操作,只……

    2022年10月13日
  • Centos7下安装Docker(详细安装教程)[通俗易懂]

    一,Docker简介百科说:Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。看起来有点雾,用过虚拟机的应该对虚拟化技术有点印象,不知道也没关系,就把它当成轻量级的虚拟机吧(虽然一个是完全虚拟化,一个是操作系统层虚拟化),这个解释到位:ht…

  • C++读写文件操作(fstream、ifstream、ofstream、seekg、seekp、tellg、tellp用法)[通俗易懂]

    C++读写文件操作(fstream、ifstream、ofstream、seekg、seekp、tellg、tellp用法)[通俗易懂]本文主要总结用C++的fstream、ifstream、ofstream方法读写文件,然后用seekg()、seekp()函数定位输入、输出文件指针位置,用tellg()、tellp()获取当前文件指针位置。一、核心类和函数功能讲解fstream:文件输入输出类。表示文件级输入输出流(字节流);ifstream:文件输入类。表示从文件内容输入,也就是读文件;ofstream:文件输…

  • plsql激活码(永久可用)

    plsql激活码(永久可用)12.07版本的:产品编号ProductCode:kfj6yg6rfyhqcha6cbgs6fsw3kyje7a6qr序列号SerialNumber:276182口令Password:xs374ca

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号