【Flume】batchSize和transactionCapacity区别

batchSize是针对Source和Sink提出的一个概念,它用来限制source和sink对event批量处理的。即一次性你可以处理batchSize个event,这个一次性就是指在一个事务中。当你处理的event数量超出了batchSize,那么事务就会提交了。注意,这里有一个隐晦的地方,就是batchSize一定不能大于transactionCapacitytransactionC…

大家好,又见面了,我是你们的朋友全栈君。

batchSize是针对Source和Sink提出的一个概念,它用来限制source和sink对event批量处理的。

即一次性你可以处理batchSize个event,这个一次性就是指在一个事务中。

当你处理的event数量超出了batchSize,那么事务就会提交了。

注意,这里有一个隐晦的地方,就是batchSize一定不能大于transactionCapacity

transactionCapacity这个概念来自于通道中,不同于batchSize(Source,Sink),说白了,就是batchSize与transactionCapactiy相互传递数据,好比两个人相互递交文件,所以batchSize的容量要小于在channel内的transactionCapactiy,否则文件会溢出。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/129454.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • ADO.NET Entity Framework插入和更新数据(实体框架快速入门)

    ADO.NET Entity Framework插入和更新数据(实体框架快速入门)

  • 四、单例模式—不要冒充我,我只有一个! #和设计模式一起旅行#

    单例模式—不要冒充我! 我就是我 是颜色不一样的烟火 天空开阔 要做最坚强的泡沫。——《我就是我》-张国荣有人冒充我给大家说一个秘密了,其实我和设计模式本来并不认识,是相识于网络上,我们聊的很多,聊人生聊梦想,有一天我突然说,设计模式我们一起去旅行吧,她说可以啊!所以才有着一次的旅行。但是总有一些人想要冒充我,因为他们看到了我和设计模式的这场旅行,那么怎么保证“设计…

  • matlab int8 矩阵,unit8_matlab数据类型转换——int8转换成unit8「建议收藏」

    matlab int8 矩阵,unit8_matlab数据类型转换——int8转换成unit8「建议收藏」在一个驱动程序中看到uint16,uint32,unit8,int8…uint16:无符号16bit整数,uint32:无符号32bit整数,unit8:无符号8bit整数,int8:有符号8bit整数。其作用是程序更加简洁,增强可移植性和可维护性,尤其是在16位机器,32位,或者是64位机器上相互之间移植的时候只需要修改这些宏定义就可以满足要求了,而不需要去修改整个工程里边的每一个变量定义…

  • phpstorm2020激活码【2021最新】[通俗易懂]

    (phpstorm2020激活码)这是一篇idea技术相关文章,由全栈君为大家提供,主要知识点是关于2021JetBrains全家桶永久激活码的内容IntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,下面是详细链接哦~https://javaforall.cn/100143.html00OE5RWT28-eyJsa…

  • idle和pycharm可以同时安装吗_python自带的编辑器

    idle和pycharm可以同时安装吗_python自带的编辑器1、pythonpython自身缺少numpy、matplotlib、scipy、scikit-learn….等一系列重要和常用的包,需要我们安装pip来导入这些包才能进行相应运算(python3.5自带了get-pip.py,不需额外下载安装),在cmd终端输入:pipinstallnumpy就能安装numpy包了。python3.5自带了一个解释器IDLE用来执行.py脚本,但是却不…

  • 元学习、迁移学习、对比学习、自监督学习与少样本学习的关系解读

    元学习、迁移学习、对比学习、自监督学习与少样本学习的关系解读文章目录前言一、对比自监督学习与FSL1.对比学习与自监督学习2.自监督学习与FSL二、元学习与FSL1.元学习是什么2.元学习与FSL三、迁移学习与FSL1.迁移学习2.迁移学习与FSL总结前言本人的研究方向是少样本图像分类,在阅读论文时会遇到很多元学习、迁移学习这样的名词,这些词在不同的论文中关系仿佛都不一样,人们的说法也不统一。因此在此记录一下自己的逻辑,希望不再混乱了~还有对比学习和自监督学习,最近自己也在看,并且和少样本学习(FSL)相关,就一起放在这里。文章中出现的ppt截图是自己讲组

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号