spark flatmap

spark flatmapflatMap算子,在java中,接收的参数是FlatMapFunction,我们需要自己定义FlatMapFunction的第二个泛型类型,即,代表了返回的新元素的类型      call()方法,返回的类型,不是U,而是Iterable,这里的U也与第二个泛型类型相同      flatMap其实就是,接收原始RDD中的每个元素,并进行各种逻辑的计算和处理,返回可以返回多个元素

大家好,又见面了,我是你们的朋友全栈君。

     flatMap算子,在java中,接收的参数是FlatMapFunction,我们需要自己定义FlatMapFunction的第二个泛型类型,即,代表了返回的新元素的类型
        call()方法,返回的类型,不是U,而是Iterable<U>,这里的U也与第二个泛型类型相同
        flatMap其实就是,接收原始RDD中的每个元素,并进行各种逻辑的计算和处理,返回可以返回多个元素

  flatmap 和map的操作,map可以完成的,flatmap也可以完成,但是flatmap能完成的,map能完成吗?好像不行,比如说我要根据传进来的数据生成两个某个类的子类,那么map就无能为力了。

public static void myFlatMap(){

        SparkConf conf=new SparkConf()

        .setMaster(“local”)

        .setAppName(“myFlatMap”);

        List<String> list=Arrays.asList(“hello 2016″,”goodbye 2015”);

        JavaSparkContext sc=new JavaSparkContext(conf);

        JavaRDD<String> listRdd=sc.parallelize(list);

        JavaRDD<String> listFlatMap=listRdd.flatMap(new FlatMapFunction<String, String> (){

            private static final long serialVersionUID = 1L;

            @SuppressWarnings(“rawtypes”)

            @Override

            public Iterable<String> call(String s) throws Exception {

                // TODO Auto-generated method stub

                return Arrays.asList(s.split(” “));

            }

        });

        listFlatMap.foreach(new VoidFunction<String>(){

            @Override

            public void call(String s) throws Exception {

                // TODO Auto-generated method stub

                System.out.println(“s:”+s);

            }

            

        });

    }

结算结果:

s:hello
s:2016
s:goodbye
s:2015

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/136144.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • Excel宏编程,给出2列进行去重合并

    Excel宏编程,给出2列进行去重合并Sub去重合并()arr=Worksheets(“sheet1”).Range(“D1”).Clear’选择D列作为存储列,保存最后去重合并的值arr=Worksheets(“sheet1”).UsedRangeDimARowAsLong’A列的行数DimBRowAsLong’B列的行数ARow=Sheet1.Range(“A”&Rows.Count).End(xlUp).Row’不带空格的行数BRow=Sheet1.Range..

  • mysql安装,mysql环境变量配置「建议收藏」

    mysql安装,mysql环境变量配置「建议收藏」mysql绿色版安装,mysql环境变量配置。小白都能学会的教程

  • 安全 | 几种wifi密码破解的思路

    从一个攻击者的视角,多种方案,讲述破解一台路由器进而控制对方网络的过程,以此提醒广大用户,提高安全意识,做好安全措施。

  • win7下vs2008过期没有输入序列号的解决办法[通俗易懂]

    win7下vs2008过期没有输入序列号的解决办法[通俗易懂]vs2008在win7下过期后,无法找到升级的序列号输入框。使用网上修改Setup\setup.sdb不得法,输入序列号却没有输入的地方。经过查找发现在win7下序列号输入框已被隐藏,使用打补丁方式可现实输入框。

  • 程序英语

    decline衰退、减少configure配置、设定consult顾问duediligence尽调sheet表单、纸、被单Extraction-Loading-TransformationIntegratedDevelopmentEnvironmentide集成开发环境desktop桌面console控制台orient标定方向 at…

  • 移动端app开发流程分析「建议收藏」

    移动端app开发流程分析「建议收藏」随着信息技术的不断发展,互联网早已经向移动互联网过渡,而智能手机正在逐步取代桌面电脑的地位,手机APP成为人们获取各类信息、服务的强大渠道。在移动互联网时代,每个企业都希望能够分享流量红利,从而让自己的企业发展的更好。选择一款适合自己的手机APP成为每个企业都在思考的问题。对于大部分的企业,尤其是餐饮、旅游、教育、美容美发、医美、健身、建筑、房地产等传统行业来讲,因为这部分企业主并不是从事互联…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号