大家好，又见面了，我是你们的朋友全栈君。

面试官最爱问的Kakfa，基础+进阶+高级，疯狂轰炸！

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

而这几年，大数据发展迅猛，Kakfa 凭借高可靠、高吞吐、高可用、可伸缩几大特性，成为数据管道技术的首选，也成了面试官的最爱。

基本知识

1.学会分析源码

程序员每天都和代码打交道。经过数年的基础教育和职业培训，大部分程序员都会「写」代码，或者至少会抄代码和改代码。但是，会读代码的并不在多数，会读代码又真正读懂一些大项目的源码的，少之又少。这种怪状，真要追究起来，怪不得程序员这个群体本身 —— 它是两个原因造成的：

我们所有的教育和培训都在强调怎么写代码，并没有教大家如何读代码
大多数工作场景都是一个萝卜一个坑，我们只需要了解一个系统的局部便能开展工作，读不相干的代码，似乎没用

读源码三问：“为什么要有这样的架构”，“他是什么样子的”，“他是怎么工作的”。

那么阿里程序员是如何去读代码的呢？

2.分布式架构特点及设计理念

首先需要说明的是，分布式系统是一个复杂且宽泛的研究领域，学习一两门在线课程，看一两本书可能都是不能完全覆盖其所有内容的。介于这篇文章是引导初学者入门，所以我个人觉得为初学者介绍一下当前分布式系统领域的全貌，也许比直接推荐论文和课程更有帮助。当初学者对这个领域建立起一个大的 Picture 之后，可以根据自己的兴趣，有选择性的深入不同领域进行进一步的学习。

3.为什么微服务会这么火？

要学习微服务，首先，我们要了解为什么使用微服务。

代码难以理解？

构建和部署耗时长，难以定位问题，开发效率低？

单体只能按整体横向扩展，无法分模块垂直扩展？

一个bug有可能引起整个应用的崩溃？

受技术栈限制，团队成员使用同一框架和语言？

那么如何解决单体的不足呢，通过迁移到微服务架构来解决，我们看一下什么是微服务。

微服务架构:将单体应用拆分为多个高内聚低耦合的小型服务，每个小服务运行在独立进程，由不同的团队开发和维护，服务间采用轻量级通信机制，独立自动部署，可以采用不同的语言及存储。

单体架构整个团队维护开发一个大工程及一个单库，到了微服务架构，用户请求经过API Gateway被路由到下游服务，服务之间以轻量级通信协议进行通信，服务通过注册中心发现彼此，每个服务都有专门的开发维护团队，每个服务对应独立的数据库，服务独立开发，独立部署和上线。

接下来我们总结下微服务的优点。

易于开发与维护

微服务相对小，易于理解

启动时间短，开发效率高

独立部署

一个微服务的修改不需要协调其它服务

伸缩性强

每个服务都可以在横向和纵向上扩展

每个服务都可按硬件资源的需求进行独立扩容

与组织结构相匹配

微服务架构可以更好将架构和组织相匹配

每个团队独立负责某些服务，获得更高的生产力

技术异构性

使用最适合该服务的技术

降低尝试新技术的成本

下面就送上学习架构图吧

工作一到五年的java 开发工程师朋友可以加入我们Java架构交流群：760940986

群内提供高可用，高并发，spring源码，mybatis源码，JVM，大数据，Netty等多个技术知识的架构视频资料

还有大把大牛在群内交流以及解答面试指导，问题答疑~~要进来和大牛交流学习提升提升自己吗~~~~

4.程序员到底要不要学习JVM

总有人问这个东西好像用不上,于是要不要学这样的问题。

然后又总有人担心一直搬砖成天做些重复没提升的东西。

如果你这辈子只甘心做一个平庸的Java码农，那么你完全没有必要去学习JVM相关的知识，学习JVM对于一个Java程序员的好处大概可以概括为下几点：

1.你能够明白为什么Java最早期被称为解释型语言，而后来为什么又被大家叫做解释与编译并存的语言（了解JVM中解释器以及即时编译器就可以回答这个问题）；

2.你能够理解动态编译与静态编译的区别，以及动态编译相对于静态编译到底有什么好处（JVM JIT）；

3.你能够利用一些工具，jmap, jvisualvm, jstat, jconsole等工具可以辅助你观察Java应用在运行时堆的布局情况，由此你可以通过调整JVM相关参数提高Java应用的性能；

4.可以清楚知道Java程序是如何执行的；

5.可以明白为什么Java等高级语言具有可移植性强的特性。

其实这个问题相当于“为什么C／C++程序员需要学体系结构与编译原理？”

话不多说，附上学习体系图

5.被我们忽略掉的工程化专题

IT产业行业细分化已经不是一天两天的事了。集成技术这件事并不可耻可笑，反而是另一种可贵的能力。并不是像一些人形容的那样，好像批发几个CPU，拿到华强北就能把自己的电脑改装成超级计算机了。

那么，为什么我们常常会忽略掉工程化这件事的价值呢？主要的原因，或许是因为工程化这件事本身就离我们太远。一个产业工程化的普遍性越高，说明这个产业发展的越成熟：产业链细分、分工细化、全球化的研发和生产这些高效的工作方式开始出现。而产业成熟也往往代表着寡头化情况显著。

在IT产业中，寡头化出现代表着创业公司减少——没人再去用声势浩大的发布会讲故事、没人再去宣传自己拿了多少融资。

这一代中国人自小的教育不比欧美的STEAM，而是重学术、轻手艺。我们往往会为工科和产能过剩画上等号。强大的资本和技术门槛为这些产业蒙上了一层神秘的面纱，让普通人很难真正了解到其中技术和工艺的复杂程度，也就更难明白其中的价值。可正是因为中国的工程化能力，才让我们有机会走到AI时代的第一梯队，而不仅仅是靠学术研究能力。

另外一个原因，或许在于我们天生“叛逆心”。超级计算机、手机芯片等等技术门槛较高的产业，其背后往往是大企业和国资科研机构。当评判的对象是他们时，我们似乎更愿意相信狗血的商业故事和阴谋论：比如科研经费都被教授们吃吃喝喝啦；搞超级计算机就是放卫星其实美日根本不care啦；XX企业的技术都是从创业公司买来的除了会赚用户的钱啥技术都没有……

产生这种“叛逆心”的原因太深刻，我们能做到的，只有在这种“惯性思维”出现时先按住自己奔向键盘的手，转表达欲为好奇心，完成自己了解的义务，再去行使自己批判的权利。

附上思维脑图

6.没有高并发经验，想进大公司该怎么办？

假如没有靠谱的公司,接触不到高并发的业务场景怎么办?你永远解决的是小问题，工作10年技术也未必提升多少。

很多程序员也经常找我说，没有经验就没有靠谱的公司收，没有靠谱的公司也就没有经验，我看了无数的书，自己做了无数的实验拼命想找个靠谱公司去深入，但是感觉好难，简直是个死循环

读者群的朋友大家都比较关注高并发，原因很简单，想去BAT这样的大公司，你必须要有高并发的经验。今天普及下高并发的知识，希望大家对高并发有一个正确的认识。

7.学习千遍，不如项目实战成功一次

我们在学习过程中最容易犯的一个错误就是：看的多，动手的少。特别是对一些项目的整体开发，我们接触的机会就更少了。

一次完整的开发，是最好的学习。它能让你对整个开发流程有完整的认识，对知识也会有极大的巩固。更重要的是，你将学会将理论知识用到实际开发中的方法。

所以无论项目大小，一定要动手去进行开发学习。

项目实战相信很多程序员都多少会有的，可是我们这个还要学习什么呢？

那就要看你想不想成为一个架构师了，为什么98%的程序员工作10年，一辈子还只是一个开发者。程序员们都要想一想这个问题，我是不是需要提升了。

我认为，学习项目实战最重要的还是学习项目管理，作为程序员，都应该学点项目管理。

凡事皆为“项目”

项目的两类属性（复杂的逻辑，庞大的信息量）

人脑擅长的是思考，而不是记忆

成为一个“独当一面”的人

独当一面是一个很性感的词。是否拥有它，对应的职场价值，有着天壤之别的。

所有老板都喜欢“独当一面”的员工，因为这是最省心力、最好算账的模式：给你一块资源，给你一个 title，给你一个目标，然后你给我打出一片天地来。

当你能独立对一摊子事情负责，并把它们一一搞定，你会拥有大幅度的职场溢价——相应的，其收入回报，也远非“技术螺丝”可比了。

如果你很进取，你会逐渐地：主导一个小组，一个部门，一个家庭，甚至还是城市……而这所有的一切起点，正是独立完整地做好一个项目：你没有谁可以依靠，你要对其中大大小小的事务负责，你要对最后的结果。

换句话说，“项目管理”是“独当一面”的元能力。在这个过程中，你的意识越发清晰，你的方法论越发成熟，你的信心更加沛，项目越做越大。直到某天，你真的有了掌控一方的封疆大吏。

这就是我们学习“项目实战”的终极意义。

或许作为程序员的你想提升自己，却找不到突破口，公司没人带。又或许你已经工作6年了，却还是很迷茫，很多知识都还是不懂，也没有达到自己期望的一个职位，薪资。在此推荐一个免费公开课的地方，上面所提到的架构师基本知识点都有资料，可以加群：744642380 ，找群主获取上课资格，这是免费的课程，找群主要的时候可以客气一点。

到这里，你可能认为文章已经完了，学完这些就可以去BAT大公司做一个架构师，年薪50W+吗？

不，你错了，这些都知识最基本的知识，想要成为一个架构师必须是一个累积的过程，也是这么多程序员终其一生也只是一个开发，到年龄就会被公司辞退。

这些也是架构师必须要了解到的知识。

编程能力
对工程师而言，编程是最基础的能力，必备技能。其本质是一个翻译能力，将业务需求翻译成机器能懂的语言。

提升编程能力的书籍有很多。精通面向对象和设计模式是高效编程的基础。初级工程师应该多写代码、多看代码。找高手做Code Review，也是提升编程水平的捷径。

编译部署能力
编译并在线上部署运行程序是系统上线的最后一个环节。随着SOA架构的普及以及业务复杂度的增加，大部分系统只是一个完整业务的一个环节，因此，本地编译和运行并不能完全模拟系统在线运行。为了快速验证所编写程序的正确性，编译并在线上部署就成了必要环节。所以编译部署能力是一个必备技能。

让盘根错节的众多子系统运行起来是个不小的挑战。得益于SOA架构的普及以及大量编译、部署工具的发展，编译部署的门槛已经大大降低。基于应用层进行开发的公司，已经很少有“编译工程师”的角色了。但是对于初级工程师而言，编译部署仍然不是一个轻松的事情。

性能优化能力
衡量一个系统成功的一个重要指标是使用量。随着使用量的增加和业务复杂度的增加，大部分系统最终都会碰到性能问题。性能优化能力是一个综合能力。因为：

影响系统性能的因素众多，包括：数据结构、操作系统、虚拟机、CPU、存储、网络等。为了对系统性能进行调优，架构师需要掌握所有相关的技术。

精通性能优化意味着深刻理解可用性、可靠性、一致性、可维护性、可扩展性等的本质。

性能优化与业务强耦合，最终所采取的手段是往往折衷的结果。所以，性能优化要深谙妥协的艺术。

可以说，性能优化能力是工程师们成长过程中各种技能开始融会贯通的一个标志。这方面可以参考之前的博客文章“常见性能优化策略的总结”。市场上还有很多与性能优化相关的书籍，大家可以参考。多多阅读开源框架中关于性能优化方面的文档和代码也不失为好的提升手段。动手解决线上性能问题也是提升性能优化能力的关键。如果有机会，跟着高手学习，分析性能优化解决方案案例（我们技术博客之前也发表了很多这方面的文章），也是快速提升性能优化能力的手段。

调试能力
程序代码是系统的静态形式，调试的目的是通过查看程序的运行时状态来验证和优化系统。本质上讲，工程师们通过不断调试可以持续强化其通过静态代码去预测运行状态的能力。所以调试能力也是工程师编程能力提升的关键手段。很早之前有个传说：“调试能力有多强，编程能力就有多强。”不过现在很多编辑器的功能很强大，调试能力的门槛已经大大降低。

调试能力是项目能否按时、高质量提交的关键。即使一个稍具复杂度的项目，大部分工程师也无法一次性准确无误的完成。大项目都是通过不断地调试进行优化和纠错的。所以调试能力是不可或缺的能力。

多写程序，解决Bug，多请教高手是提升调试能力的重要手段。

在线运维能力
如果说性能优化能力体现的是架构师的静态思考能力，在线运维能力考验的就是动态反应能力。残酷的现实是，无论程序多么完美，Bug永远存在。与此同时，职位越高、责任越大，很多架构师需要负责非常重要的在线系统。对于线上故障，如果不能提前预防以及快速解决，损失可能不堪设想，所以在线运维能力是优秀架构师的必备技能。

为了对线上故障进行快速处理，标准化的监控、上报、升级，以及基本应对机制当然很重要。通过所观察到的现象，快速定位、缓解以及解决相关症状也相当关键。这要求架构师对故障系统的业务、技术具备通盘解读能力。解决线上故障的架构师就好比一个在参加比赛F1的车手。赛车手必须要了解自身、赛车、对手、同伴、天气、场地等所有因素，快速决策，不断调整。架构师必须要了解所有技术细节、业务细节、处理规范、同伴等众多因素，快速决断，迅速调整。

在线运维本质上是一个强化学习的过程。很多能力都可以通过看书、查资料来完成，但在线运维能力往往需要大量的实践来提升。

业务架构能力
工程师抱怨产品经理的故事屡见不鲜，抱怨最多的主要原因来自于需求的频繁变更。需求变更主要有两个来源：第一个原因是市场改变或战略调整，第二个原因是伪需求。对于第一个原因，无论是工程师还是产品经理，都只能无奈的接受。优秀的架构师应该具备减少第二种原因所导致的需求变更的概率。

伪需求的产生有两个原因：

第一个原因是需求传递变形。从信息论的角度来讲，任何沟通都是一个编码和解码的过程。典型的需求从需求方到产品经理，最终到开发工程师，最少需要经历三次编码和解码过程。而信息的每一次传递都存在一些损失并带来一些噪音，这导致有些时候开发出来的产品完全对不上需求。此外，需求方和产品经理在需求可行性、系统可靠性，开发成本控制方面的把控比较弱，也会导致需求变形。

第二个原因就是需求方完全没有想好自己的需求。

优秀的架构师应该具备辨别真伪需求的能力。应该花时间去了解客户的真实业务场景，具备较强的业务抽象能力，洞悉客户的真实需求。系统的真正实施方是工程师，在明确客户真实需求后，高明的架构师应该具备准确判断项目对可行性、可靠性、可用性等方面的要求，并能具备成本意识。最后，由于需求与在线系统的紧耦合关系，掌握在线系统的各种细节也是成功的业务架构的关键。随着级别的提升，工程师所面对的需求会越来越抽象。承接抽象需求，提供抽象架构是架构师走向卓越的必经之途。

市场上有一些关于如何成为架构师的书，大家可以参考。但是架构能力的提升，实践可能是更重要的方式。业务架构师应该关注客户的痛点而不是PRD文档，应该深入关注真实业务。掌握现存系统的大量技术和业务细节也是业务架构师的必备知识。

项目管理能力
作为工业时代的产物，分工合作融入在互联网项目基因里面。架构师也需要负责几个重大项目才能给自己正名。以架构师角色去管理项目，业务架构能力当然是必备技能。此外，人员管理和成本控制意识也非常重要。

项目管理还意味着要有一个大心脏。重大项目涉及技术攻关、人员变动、需求更改等众多可变因素。面临各种变化，还要在确保目标顺利达成，需要较强的抗压能力。

人员管理需要注意的方面包括：知人善用，优化关系，简化沟通，坚持真理。

知人善用意味着架构师需要了解每个参与者的硬技能和软素质。同时，关注团队成员在项目过程中的表现，按能分配。

优化关系意味着管理团队的情绪，毕竟项目的核心是团队，有士气的团队才能高效达成目标。

简化沟通意味着快速决策，该妥协的时候妥协，权责分明。

坚持真理意味着顶住压力，在原则性问题上绝不退步。

成本控制意味着对项目进行精细化管理，需要遵循如下几个原则：

以终为始、确定里程碑。为了达成目标，所有的计划必须以终为始来制定。将大项目分解成几个小阶段，控制每个阶段的里程碑可以大大降低项目失败的风险。

把控关键路径和关键项目。按照关键路径管理理论（CPM）的要求，架构师需要确定每个子项目的关键路径，确定其最早和最晚启动时间。同时，架构师需要关注那些可能会导致项目整体延期的关键节点，并集中力量攻破。

掌控团队成员的张弛度。大项目持续时间会比较长，也包含不同工种。项目实施是一个不断变化的动态过程，在这个过程中不是整个周期都很紧张，不是所有的工种都一样忙。优秀的架构师必须要具备精细阅读整体项目以及快速反应和实时调整的能力。这不仅仅可以大大降低项目成本，还可以提高产出质量和团队满意度。总体来说，“前紧后松”是项目管理的一个重要原则。

项目管理方面的书籍很多。但是，提高业务架构能力同样重要。积极参与大项目并观察别人管理项目的方式也是非常重要的提升手段。

团队管理能力
不想做CTO的工程师不是一个好的架构师。走向技术管理应该是工程师的一个主流职业规划。团队管理的一个核心能力就是规划能力，这包括项目规划和人员规划。良好的规划需要遵循如下原则：

规划是利益的博弈。良好的规划上面对得起老板，中间对得起自己，下面对得起团队。在三者利益者寻找平衡点，实现多方共赢考验着管理者的智慧和精细拿捏的能力。

任何规划都比没有规划好。没有规划的团队就是没头的苍蝇，不符合所有人的利益。

规划不是本本主义。市场在变，团队在变，规划也不应该一成不变。

客户至上的是项目规划的出发点。

就人员规划而言，规划需要考量团队成员的能力、绩效、成长等多方面的因素。

文章讲到这里已经是终点了，希望可以帮到还在迷茫的朋友，最后祝大家早日年薪50W，成为架构师，欢迎留言和小编讨论。