通过案例对SparkStreaming 透彻理解三板斧之二:解密SparkStreaming运行机制

通过案例对SparkStreaming 透彻理解三板斧之二:解密SparkStreaming运行机制

一:spark各个子框架的关系:

 上节课我们采用了降维的方式查看了整个spark streaming的大概运行的过程,再次强调,spark streaming 其实是构建在spark core之上的一个应用程序,如果要构建一个强大的spark应用程序 ,spark streaming 是一个值得借鉴的参考,spark streaming涉及多个job交叉配合,里面涉及到了spark的所有的核心组件,如果对spark streaming 精通了的话,可以说就精通了整个spark,所以精通掌握spark streaming是至关重要的

spark 的各个子框架都是基于spark core的。spark streaming在内部的处理机制是接受实时流的数据,并根据一定的时间间隔分成一批一批的数据,然后通过spark engine处理这些批数据,最后得到处理后的一批一批的数据。

对应的批数据,在spark内核对应RDD,在spark streaming中对应DStream ,一个DStream相当于RDD的模板,对应一组RDD(RDD的一个序列)

通俗点理解的话,在数据分成一批一批后,通过一个队列,然后spark引擎从该队列中依次一个一个的取出批数据,把批数据封装成一个DStream,因为DStream是RDD的模板,是RDD的一个逻辑级别的抽象,所以实质上是把数据封装成为物理级别的RDD.

二:Spark Streaming基础概念理解:

为了更好的理解spark streaming,我们先简单的对相关概念理解一下

1 离散流:(Discretized Stream ,DStream):这是spark streaming对内部的持续的实时数据流的抽象描述,也即我们处理的一个实时数据流,在spark streaming中对应一个DStream

2 批数据:将实时流时间以时间为单位进行分批,将数据处理转化为时间片数据的批处理

3 时间片或者批处理时间间隔:逻辑级别的对数据进行定量的标准,以时间片作为拆分流数据的依据。

4 窗口长度:一个窗口覆盖的流数据的时间长度。比如说要每隔5分钟统计过去30分钟的数据,窗口长度为6,因为30分钟是batch interval 的6倍

5 滑动时间间隔:比如说要每隔5分钟统计过去30分钟的数据,窗口时间间隔为5分钟

6 input DStream :一个inputDStream是一个特殊的DStream 将spark streaming连接到一个外部数据源来读取数据。

7 Receiver :长时间(可能7*24小时)运行在Excutor之上,每个Receiver负责一个inuptDStream (比如读取一个kafka消息的输入流)。每个Receiver,加上inputDStream 会占用一个core/slot

重点来了!!!我们用时空维度和空间维度分别对DStream 和RDD来更加深入并且另类的理解spark streaming,以及二者之间的关系。

DStream 对应时空维度,空间加上时间(从目前来看,spark streaming的精妙之一是用时间来解耦合,是目前所见最好的解耦合的方式),RDD对应空间维度,整个sparkStreaming是时空维度。

100756_ipwX_1253652.png

纵轴为空间维度:代表的是RDD的依赖关系构成的具体的处理逻辑的步骤,是用DStream来表示的。

横轴为时间维度:按照特定的时间间隔不断地生成job对象,并在集群上运行。

随着时间的推移,基于DStream Graph 不断生成RDD Graph ,也即DAG的方式生成job,并通过Job Scheduler的线程池的方式提交给spark cluster不断的执行。(sparkStreaming只关注时间维度不关注空间维度)

由上可知,RDD    与  DStream的关系如下:

1.RDD是物理级别的,而 DStream 是逻辑级别的

2.DStream是RDD的封装类,是RDD进一步的抽象

3.DStream 是RDD的模板。DStream要依赖RDD进行具体的数据计算

(注意:纵轴维度需要RDD,DAG的生成模板,需要TimeLine的job控制器

横轴维度(时间维度)包含batch interval,窗口长度,窗口滑动时间等。)

4.inputStream和outputStream分别代表数据的输入和输出

5.具体的job运行在spark cluster之上,此时系统的容错就非常重要,而spark streaimg的容错非常巧妙,它巧妙的借用了spark core rdd的容错而容错。(RDD可以指定StorageLevel来实现存放多个副本用来做容错)

6.事务处理:数据一定会被处理,并且只会对数据处理一次,这个特性对于那些诸如计费系统的实现非常重要

转载于:https://my.oschina.net/u/1253652/blog/668698

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/109043.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • numpy创建数组

    numpy创建数组数组的操作list======特殊的数组数组和列表的区别:数组:存储的时同一种数据类型;list:容器,可以存储任意数据类型;一维数组和数组的计算:#一维数组和数组的计算a=[1,2,3,4]b=[2,3,4,5]#一维数组相加add=lambdax:x[0]+x[1]#[(1,2),(2,3),(3,4),(4,…

  • Zynq 7020 学习心得【1】

    Zynq 7020 学习心得【1】今天对照Miz702的板子,学习了EMIO的用法,遇到了一点问题,经过分析和尝试,解决了,写出来,给大家参考一下。第一个问题,约束文件报warning,并且生成bitstream出错。开发板教程中

  • Drupal 安装「建议收藏」

    Drupal 安装「建议收藏」2.Drupal安装在安装Drupal前,你需要在服务器上先搭建一个PHP+MySQL环境。专业网站一般是安装LAMP(Linux+Apache+MySQL+PHP)。环境的搭建可参考如下文章:Windows下php服务器配置过程:http://www.loosky.net/?q=node/25Linux下Lamp服务器的配置:http://www…

  • 30个特色网站

    30个特色网站原文:http://www.360doc.com/showWeb/0/0/360001.aspx周游世界不再是有钱人的专利  穷游网:http://www.go2eu.com  在德国花3欧元就能住一晚,同5个人共花5欧元就能乘火车出城甚至出国……穷游网的热心“驴友”以自己的实战经验教你如何竭尽省钱之能事,以最有限的资金获得最In、最High的异域体验。囊中再羞涩也无法阻挡我们环球游历的愿

    2022年10月29日
  • 光功率 博科交换机_博科光纤交换机zone划分命令方法「建议收藏」

    光功率 博科交换机_博科光纤交换机zone划分命令方法「建议收藏」博科光纤交换机zone划分命令方法Brocade(博科)交换机为例,记录其划分命令和划分方法:连接交换机:可通过串口或网线从IE进入,默认IP  10.77.77.77,255.255.255.0创建ZONE有两种方式:一是通过交换机port号,二是通过主机和存储的WWN号 (单个硬盘没有WWN号,存储整体才有一个)命令:查看当前zone状况:zoneshow删除zone:zonedele…

  • 智能避障小车_单片机智能小车程序

    智能避障小车_单片机智能小车程序      接下来我对所用的模块以及小车的硬件部分做一个讲解        小车的总体效果图如下:      首先是模块简介:            1、首先就是L298N,这是一个经典的电机驱动,相信基本所有玩过单片机,玩过电机的人都使用过,它可以最高容忍15v电压输入,逻辑电平2.4-5.5v,所以使用单片机的3.3v完全可以驱动,它并没有PWM接口来控制电机的速度,只能使逻辑电平输出…

    2022年10月17日

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号