rabitmq,redis以及kafuka作为消息队列的区别[通俗易懂]

rabitmq,redis以及kafuka作为消息队列的区别[通俗易懂]kafukakafuka涉及到的名词词意解释:Kafka作为时下最流行的开源消息系统,被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统,Kafka在保障了大部分功能特性的同时,还提供了超一流的读写性能。针对Kafka性能方面进行简单分析,相关数据请参考:https://segmentfault.com/a/119000000398…

大家好,又见面了,我是你们的朋友全栈君。

kafuka

kafuka涉及到的名词词意解释:

Kafka作为时下最流行的开源消息系统,被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统,Kafka在保障了大部分功能特性的同时,还提供了超一流的读写性能。

针对Kafka性能方面进行简单分析,相关数据请参考:https://segmentfault.com/a/1190000003985468,下面介绍一下Kafka的架构和涉及到的名词:

Topic:用于划分Message的逻辑概念,一个Topic可以分布在多个Broker上。

Partition:是Kafka中横向扩展和一切并行化的基础,每个Topic都至少被切分为1个Partition。

Offset:消息在Partition中的编号,编号顺序不跨Partition。

Consumer:用于从Broker中取出/消费Message。

Producer:用于往Broker中发送/生产Message。

Replication:Kafka支持以Partition为单位对Message进行冗余备份,每个Partition都可以配置至少1个Replication(当仅1个Replication时即仅该Partition本身)。

Leader:每个Replication集合中的Partition都会选出一个唯一的Leader,所有的读写请求都由Leader处理。其他Replicas从Leader处把数据更新同步到本地,过程类似大家熟悉的MySQL中的Binlog同步。

Broker:Kafka中使用Broker来接受Producer和Consumer的请求,并把Message持久化到本地磁盘。每个Cluster当中会选举出一个Broker来担任Controller,负责处理Partition的Leader选举,协调Partition迁移等工作。

ISR(In-Sync Replica):是Replicas的一个子集,表示目前Alive且与Leader能够“Catch-up”的Replicas集合。由于读写都是首先落到Leader上,所以一般来说通过同步机制从Leader上拉取数据的Replica都会和Leader有一些延迟(包括了延迟时间和延迟条数两个维度),任意一个超过阈值都会把该Replica踢出ISR。每个Partition都有它自己独立的ISR。

  1. 负载均衡:kafka采用zookeeper对集群中的broker、consumer进行管理,可以注册topic到zookeeper上;通过zookeeper的协调机制,producer保存对应topic的broker信息,可以随机或者轮询发送到broker上;并且producer可以基于语义指定分片,消息发送到broker的某分片上。
  2. Scale out:支持在线水平扩展。
  3. kafka的broker支持主备模式。
  4. 性能:kafka具有高的吞吐量,内部采用消息的批量处理,zero-copy机制,数据的存储和获取是本地磁盘顺序批量操作,具有O(1)的复杂度,消息处理的效率很高。即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输。
  5. 支持Kafka Server间的消息分区,及分布式消费,同时保证每个Partition内的消息顺序传输。
  6. 同时支持离线数据处理和实时数据处理。

更多关于Kafka的数据,参考:https://segmentfault.com/a/1190000003985468

RabbitMQ

  1. RabbitMQ是使用Erlang编写的一个开源的消息队列,本身支持很多的协议:AMQP,XMPP, SMTP, STOMP,也正因如此,它非常重量级,更适合于企业级的开发。
  2. RabbitMQ实现了Broker构架,这意味着消息在发送给客户端时先在中心队列排队。对路由,负载均衡或者数据持久化都有很好的支持。
  3. RabbitMQ遵循AMQP协议,RabbitMQ的broker由Exchange,Binding,queue组成,其中exchange和binding组成了消息的路由键;客户端Producer通过连接channel和server进行通信,Consumer从queue获取消息进行消费(长连接,queue有消息会推送到consumer端,consumer循环从输入流读取数据)。
  4. rabbitMQ以broker为中心;有消息的确认机制,可靠性比较高。
  5. 可用性方面,rabbitMQ支持miror的queue,主queue失效,miror queue接管。

  6. rabbitMQ的负载均衡需要单独的loadbalancer进行支持。

redis

redis是一个基于Key-Value对的NoSQL数据库,开发维护很活跃。虽然它是一个Key-Value数据库存储系统,但它本身支持MQ功能,所以完全可以当做一个轻量级的队列服务来使用

  1. redis的list数据结构可以实现轻量级的消息队列,处理少量消息时读写性能很高,当写入消息数量较大时(单机本地测试10k左右)写入性能会大大降低,读取性能受影响不大,依然很优秀。
  2. 比较适合在Web场景下作为队列服务使用
  3. redis作为消息队列不能实现消息的分类,还有没有确认机制,知道接收消息的消费者执行成功与否
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/131840.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 1、Java从入门到精通

    1、Java从入门到精通将自己学习的Java基础整理出来,方便复习和记忆~~一、Java的历史1、Java开发分成了3个方向JavaSE:主要用于桌面程序的开发,学习JavaEE和JavaME的基础JavaEE:主要用于网页程序的开发JavaME:主要用于嵌入式系统程序的开发2、JavaSE平台中的lib软件包Java.lang包——语言核心包java.util包——Jav…

  • linux的上传和下载命令_yum安装rz命令

    linux的上传和下载命令_yum安装rz命令要使用rz、sz命令传输文件需要给服务器安装lrzsz:yum-yinstalllrzsz命令sz、rz的使用方法rz中的r意为received(接收),输入rz时,意为服务器接收文件,即将文件从本地上传到服务器。sz中的s意为send(发送),输入sz时,意为服务器要发送文件,既从服务器发送文件到本地,或是说本地从服务器上下载文件。注意:不论是send还是rec…

  • java中解析json格式数据

    今天在项目中需要接收json格式数据进行数据库保存,长时间没有使用json格式的数据,今天突然用到还有写棘手,现在我来写一下在java中解析json格式数据的代码publicvoidsaveData(){jsonData= {“TSR_TOTAL”:1,”TSR_ITEMS”:[{“UDID”:”1″,”major”:”a”,”minor”:”1″}{“UDID”:”2″,”majo

  • PhpStorm2017.1版激活方法、汉化方法以及界面配置「建议收藏」

    PhpStorm2017.1版激活方法、汉化方法以及界面配置「建议收藏」本教程仅对2017.1版有效!!!!!!PhpStorm激活和汉化文件下载网址(提取密码:62cg)PhpStorm的介绍PhpStorm是一个轻量级且便捷的PHPIDE,其旨在提高用户效率,

  • 数学之美 系列二 — 谈谈中文分词

    数学之美 系列二 — 谈谈中文分词

  • vscode常用插件大全「建议收藏」

    vscode常用插件大全「建议收藏」vscode常用插件大全参考文章https://mp.weixin.qq.com/s/1PkWPApvn5uWJl_cdzcoTA说明该片文章基本介绍了vscode常用插件,已经很全面本文不做任何编辑器的比较,只是我本人日常使用vscode进行开发,并且比较喜欢折腾vscode,会到处找这一些好玩的插件,于是越攒越多,今天给大家推荐一下我收藏的60多个vscode插件,据说插件装太多,编辑器会变卡,可能是我的电脑配置还顶得住,目前并没有感觉到卡卡的。接下来我会将会

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号