kafka和mq的应用场景_kafka和mq

kafka和mq的应用场景_kafka和mqkafka为什么有高的吞吐量?快来看看吧!~~~

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

一、前言

在这个系列博客中,小编将向大家介绍一下一款吞吐超级大的消息中间件——kafka。
说到消息中间件MQ,小编也在前面的博客中介绍过 rocketMq,activeMq等等。

至于为什么叫kafka呢?是因为创作它的程序员叫做jay krep,他非常喜欢 弗兰兹·卡夫卡,觉的kafka这个名字很酷,所以就起了这个名字。名字没有什么特别的意思。

二、什么是kafka?能干点什么?

在这里插入图片描述

Kafka是由Apache软件基金会开发的一个开源流平台,由Scala和Java编写。Kafka的Apache官网是这样介绍Kafka的。

流平台?干什么的?

From apache kafka官网

  1. To publish (write) and subscribe to (read) streams of events, including continuous import/export of your data from other systems.
  2. To store streams of events durably and reliably for as long as you want.
  3. To process streams of events as they occur or retrospectively.

翻译过来就是:

  1. 发布和订阅流数据流,包括从其他系统持续导入/导出数据。
  2. 持久化数据流,数据落地
  3. 处理数据流,数据流回放

三、kafka的架构图

在这里插入图片描述

首先kafka其他mq一样,都是有 服务端和客户端组成,客户端我们一般分成 生产者和消费者。

  • 生产者

  • 服务端,一个节点叫做broker,多个broker组成我们的集群。其中通过 zookeeper来管理集群,比如集群配置,leader的选举,负载均衡等。

  • 消费者

在这里插入图片描述

这里还有一些概念要介绍:

  • topic
    队列,生产者会发送消息到topic,消费者从topic消费消息。

  • partition
    分区,目的是提高并发,一个topic可以有多个partition,每个patition内的消息是保证顺序的,是有序队列。

  • segment
    每个patition又由多个segment file组成。文件存储二进制格式数据
    segment = xxx.index + xxxx.timeindex + xxxx.log
    xxxx.log是数据文件,xxx.index 和 xxx.timeindex 是索引文件。

log文件大小默认是1G,超出限制会新建立一个文件。可以通过log.segment.byte参数来配置每个segment大小。

命名规则:partition的第一个segment从0开始,后续每个segment文件名为上一个segment文件最后一条消息的offset + 1

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

  • replica
    副本,kafka为了保证消息的高可用性,为每个日志文件都做了备份,被称作副本,目的就是为了防止数据丢失,这样就拆成了两类:leader 和 follower。如果其中一台broker 宕机,Kafka 会从剩余的 replica 中选举出新的 leader 继续提供服务。

  • leader
    主副本,其中的数据会给到消费者。

  • follower
    从副本,备胎,个别broker宕机的时候,可以重新选举为主副本。从副本中的数据,不会给到消费者。从副本主动从主副本拉取,不同从副本的拉取同步速度也是不一样的。

  • offset
    消费者消费的位置信息,当消费者挂掉或重新恢复的时候可以,从消费位置重新继续消费。

  • consumer group
    消费者组,消费者组内所有的消费者,分别消费不同分区数据,消费互斥。

  • ISR
    in sync replica,基本保持同步的Replica列表,是从副本与主副本保持同步的列表,默认是30s数据,如果从副本保持同步,那么重新选举leader的时候,会被选择;如果与主副本同步差距较大,会被移除,选举leader,将不会被考虑。

  • OSR
    out of sync replica,同步有延迟的follower列表。

  • LEO (logEndOffset)
    表示每个partition的log最后一条message的位置。

  • HW(高水位 HighWatermark)
    每个partition的副本数据间同步且一致的offset位置,即表示所有副本都已经commit的位置
    高水位之前的数据才是Commit后的,对消费者才可见

在这里插入图片描述

四、小结

了解kafka的架构,就是要了解设计理念,阿里的rocketmq也是根据kafka的这个架构来设计的,好的架构可以拓展出更多的中间件。了解透了,你就会有收获。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/182549.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • TCP拥塞控制策略

    TCP拥塞控制策略一、Reno1、算法执行示意                                   图1 算法执行图2、算法原理Reno是一种基于丢包的拥塞控制算法,将丢包视为出现拥塞,采取缓慢探测的方式,逐渐增大拥塞窗口,当出现丢包时,将拥塞窗口减小。该算法拥塞控制的过程分为四个阶段:慢开始、拥塞避免、快重传和快恢复,分别对应四种算法。 (1)慢开始算法当主机总数…

  • window 下蓝牙开发[通俗易懂]

    window 下蓝牙开发[通俗易懂]window蓝牙开发资料真的是比较少,而且功能比较单一。使用window自带的蓝牙重连接真的是太慢了。找不到好的解决方法,很让人头痛呀!下面提供的这点代码,也只是一个简单的功能,有这方面研究的朋友,希望能多多交流,多多指教ULONGLONGg_ulRemoteAddr=0;WCHARstrGUID[]=L”00001101-0000-1000-8000-00805f9b34fb”;

    2022年10月29日
  • HttpCanary下载_php自我介绍网页代码

    HttpCanary下载_php自我介绍网页代码前言首先,我们无论学习哪个框架,都要带着问题,带着思考去学习思考1:HttpRunner是什么?思考2:HttpRunner的设计模式是什么?思考3:为什么我们要学习HttpRunner?他的

  • AsyncHandler

    AsyncHandler

  • CollectGarbage 垃圾回收

    在IE中,调用window.CollectGarbage()方法会立即执行垃圾收集,在Opera7及更高版本中,调用window.opera.collect()也会启动垃圾收集例程。转载于:https://www.cnblogs.com/wujidns/p/5462372.html…

  • iis默认路径_服务器配置文件在哪

    iis默认路径_服务器配置文件在哪本文的性质为“编著”。“图形化网站管理者”请留步。 问题:当主机上的IIS服务由于各种原因无法打开时,无法看到当前系统内已经部署了哪些网站,以及其对应的目录等信息。为解决这一问题,本文通过查看IIS服务器的配置文件来获取系统内已部署网站的信息。 可能的“误导”预警:配置文件的信息与IIS的版本有关系,但本文仅为了解决问题,将操作系统与IIS版本混在了一起。 对win

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号