kafka的应用场景有_后端用到kafka的地方

kafka的应用场景有_后端用到kafka的地方kafka作为一个消息流处理平台。很多开发人员都作它作为一个生产&消费的中间件,并没有细细去思考kafka可以在哪些应用场景中使用,下面根据我的经验,总结下kafka可以应用在以下场景中。消息队列这种场景是日常用得最多之一。我日常需要将多台服务器上的日志集中收集到一个点上,通过logstash进行扫描并发到kafka队列中,然后通过消费者程序进行消费写到hbase或者es中。…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

kafka作为一个消息流处理平台。很多开发人员都作它作为一个生产&消费的中间件,并没有细细去思考kafka可以在哪些应用场景中使用,下面根据我的经验,总结下kafka可以应用在以下场景中。

消息队列

kafka的应用场景有_后端用到kafka的地方

这种场景是日常用得最多之一。我日常需要将多台服务器上的日志集中收集到一个点上,通过logstash进行扫描并发到kafka队列中,然后通过消费者程序进行消费写到hbase或者es中。

消息订阅与发布

kafka的应用场景有_后端用到kafka的地方

这种场景也是日常使用最多之一。在日常项目中,我们可以需要重复消费相同的数据,例如一路数据用来收集入库,另一路数据进行实时分析,两路数据消费使用不到的groupid进行区分即 可。

消息削峰

kafka的应用场景有_后端用到kafka的地方

这种场景相对少一些,类似愚公移山,将超过的请求峰值降低到平缓期去处理,使用的是kafka具有一定的缓存能力,默认可以将数据保留7天,当然在硬盘资源允许情况下可以设置更长,最终还是根据实际情况而定。

数据采集

kafka的应用场景有_后端用到kafka的地方

这种应用场景也是最常用之一。当我们面对很多平台或组件的日志时,需要将这些平台或组件的日志统一起来,可以通过kafka统一起来,再分类处理,毕竟kafka是将数据进行字节流处理,不关注数据格式。

流处理

kafka的应用场景有_后端用到kafka的地方

这种用法我暂时也没有用过,这种是在kafka2.0的版本才出现的,对于这种处理目前我还是使用flink或者spark进行处理,有机会可以尝试下是否具有较高的可用性,毕竟这可以减少组件的维护同时提高数据处理能力。

以上图片是积累下来的,并不是本人亲自去画的,感谢上面几个图的作者,但忘记在哪里找些图的了。

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/182021.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • Java葵花宝典(一)

    Java葵花宝典(一)1.面向对象和面向过程的区别面向过程:是以事件为中心,按照我们编写的代码,根据完成步骤的过程来执行的优点:面向过程性能比面向对象高。因为类调用时需要实例化,开销比较大,比较消耗资源,所以当性能是最重要考量的因素的时候,比如单片机开发,嵌入式开发,Linux一般采用面向过程开发缺点:没有面向对象易维护、易复用、易扩展面向对象:将事物高度抽象化,我们把要完成的功能高度抽象成一个个对象,调用对象的方法或者属性来完成所需功能优点:易维护、易复用、易扩展。因为面向对象有封装、继承、多态的特性,所以可以设计

  • Java邮箱正则表达式验证_java正则表达式以什么开头

    Java邮箱正则表达式验证_java正则表达式以什么开头packagecom.Janson.test;/***@authorJanson*/importjava.util.regex.*;publicclasstest{publicstaticbooleancheckEmaile(Stringemaile){/***正则表达式实用规则…

  • linux下如何启动ice服务器,linux: ICE搭建

    linux下如何启动ice服务器,linux: ICE搭建环境:JDK1.8yuminstallgccgcc-c++glibc-headers-yyumgroupinstall”DevelopmentTools”-yyumupdate-ymkdir/usr/local/ice/bzip2-pvtarxfThirdParty-Sources-3.5.1.tar.gzcdThirdParty-Sources-3.5.1&a…

  • 什么是索引?Mysql目前主要的几种索引类型「建议收藏」

    什么是索引?Mysql目前主要的几种索引类型「建议收藏」一、索引MySQL索引的建立对于MySQL的高效运行是很重要的,索引可以大大提高MySQL的检索速度。打个比方,如果合理的设计且使用索引的MySQL是一辆兰博基尼的话,那么没有设计和使用索引的MySQL就是一个人力三轮车。索引分单列索引和组合索引。单列索引,即一个索引只包含单个列,一个表可以有多个单列索引,但这不是组合索引。组合索引,即一个索引包含多个列。创建索引时,你需要确保该索引是应用在SQ…

  • 计算机机房安全设计规范,弱电机房建设规范要求

    计算机机房安全设计规范,弱电机房建设规范要求原标题:弱电机房建设规范要求工程中的数据中心机房建设是保证计算机网络设备和各级工作保障系统正常运转的关键。现在的计算机设备对运行环境要求较高。因此,必须按照一定的标准规范科学地设计机房。机房建设需要执行的标准主机房建设工程必须遵循国家机房设计标准规范的要求。场地要求计算机机房在多层建筑或高层建筑物内一般应设于第二、三层,水源充足,电力稳定可靠,应远离产生粉尘、油烟、有害气体以及贮存具有腐蚀性、易燃…

  • JMH使用指南[通俗易懂]

    JMH使用指南[通俗易懂]关于JMH,可以直接查看官网地址http://openjdk.java.net/projects/code-tools/jmh/本博客内容来自我正在撰写的新书《Java性能优化(暂定名)》,也欢迎购买经典书《SpringBoot2实战权威指南》1.3JMH1.3.1使用JMH通过手工编写一个性能压测程序有较多的问题不同需要性能比较方法放到一个虚拟机里调用,有可能会互相…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号