系统性能提升优先法宝|缓存应用实践

系统性能提升优先法宝|缓存应用实践

缓存是系统性能提升优先法宝,在互联网应用系统中,屡试不爽。网上有很多资料介绍缓存理论及使用策略,本文就不再涉及了,今天简单将缓存做个归类,重点分享以前在实际业务中碰到场景以及如何使用。

接下来主要分两部分介绍:缓存分类与应用实践案例。

缓存分类

缓存一般有以下几类:客户端、浏览器、CDN缓存、NGINX缓存、应用缓存及统一缓存(如redis)。

系统性能提升优先法宝|缓存应用实践

▲缓存分类:用户->数据层

客户端缓存:很少使用,一般都是传统企业才会使用。把不变化或很长时间才变化的数据按一定格式存储在客户端的本地文件中,使用时通过js读取解析使用,延用了C/S结构的方式,适合数据量很大业务且技术有所不足的开发。

浏览器缓存:这种形式使用很广泛,极大地提升了用户体验,但有时会出现没及时更新导致显示“错误”的信息。把已经请求过的Web资源(如html页面,图片,js,css等)拷贝一份副本储存在浏览器中,缓存会根据进来的请求保存输出内容的副本。这种缓存带来的好处有三点:减少网络带宽消耗,降低服务器压力,减少网络延迟、加快页面打开速度,适合请求量大、静态的数据请求。

CDN缓存:在用户和服务器之间增加cache层,把数据存放到内容分发网络机房服务器中,用户请求进从最近的CDN节点获取。主要缓存图片、js及css文件,CDN需要付费,有些规模的网站才会使用。

NGINX缓存:对客户已经访问过的内容在Nginx服务器本地建立副本,达到减少Nginx服务器与后端服务器之间的网络流量。

应用缓存:在后端应用中使用缓存,如java常使用Ehcache及gauva缓存组件进行数据缓存,也可以针对特殊场景在请求中进行线程缓存。适合调用量大且应用内部方法间调用,减少网络消耗。

统一缓存:使用内存减少对数据库的直接访问,提高网站性能,如使用memcache或redis搭建缓存服务。

前四类都是在网络传输中进行数据缓存,一般研发很少会去使用,后两类在应用中缓存,在开发中经常使用,接下来介绍后两类缓存的实践案例。

实践案例

1、热点key

场景:在大促期间,给所有活动页及频道页提供侧滑html片段数据,会有修改。

特点:数据记录少,调用量比较大(峰值400万/分钟)。

在接到需求时,第一反应是使用redis进行缓存,数据更新时删除redis缓存。读取时先读取redis,缓存为空,读取DB并存放redis。

该场景是使用redis当缓存使用,存在一定风险:由于数据量少并发高时,成为热点key会集中命中单个redis实例,流量上去后,性能会变差,甚至可能拖垮实例。

进一步改进本地JVM缓存,加redis缓存,JVM缓存一分种失效,回源redis及数据库。存在集中穿透缓存回源数据库,拖垮应用或数据库的情况,之前有过缓存失效,集中回源数据库的经历,结果应用服务一台台全部倒下,数据库没有压力。事后分析,数据库配置最大连接数为10,外部请求超时时间为500ms,不断有新请求进来,大量请求在等待连接。最后选择在JVM使用ConcurrentMap存放当DB使用,1分钟异步刷新数据。

在大促当天,页面该请求返回性能不太理想,数据返回大概73KB,使用Nginx增加gzip压缩后,数据压缩到13KB,性能提高不少。后续在Nginx增加代理缓存,性能稳定。

2、类目中心设计

类目是电商领域最基础的数据,使用依赖的系统很多,早期是各个系统直接从数据库读取并自行缓存使用,人为给数据库增压。为了避免该情况,着手搭建类目中心,对性能及稳定要求极致,类目中心服务异常不能影响使用方,类目更新后要及时同步给使用方。

经过多次讨论,确认使用三级缓存:客户端缓存、类目系统jvm缓存及统一redis缓存。

系统性能提升优先法宝|缓存应用实践

▲类目中心–读

客户端缓存:在对外提供的api依赖包中进行缓存封装,通过调用类目系统接口提供缓存后的服务方法。缓存数据记录失效时间,调用时发现缓存数据已失效时,更新失效时间并返回,异步请求类目中心数据刷新。若缓存没有命中,回源请求类目中心。客户端会定时检测类目版本信息,若版本更新变化,客户端数据强制更新。

类目系统jvm缓存:使用jvm缓存,若有过期异步回源,统一缓存redis,穿透直接回源redis。

统一缓存redis:当DB使用,不回源数据库,并定时从数据库把数据刷新至redis中。为了避免并发刷新,使用redis实现排它锁,保证只一个任务刷新。

数据更新请求,有一定的规则:

更新数据库,保证数据库是正确数据,后续步骤异常也可通过定时全量更新弥补;

更新redis缓存;

更新类目中心所有实例JVM缓存:由于系统是多实例集群,需要通知所有实例更新JVM缓存;

更新版本号,用于客户端查验强制更新标识。一定需要JVM更新完成之后,否则客户端可能获取到更新前的“错误”数据。

系统性能提升优先法宝|缓存应用实践

▲类目中心–更新

客户端95%的请求被客户端缓存命中,调用次数3700万/分钟,性能TP999为1ms。

系统性能提升优先法宝|缓存应用实践

▲客户端调用次数

系统性能提升优先法宝|缓存应用实践

▲客户端性能

服务端请求次数3000万/分钟也没有压力,单实例现实际调用次数150万/分钟。

系统性能提升优先法宝|缓存应用实践

▲服务端调用次数

最后

缓存不仅能当缓存,也可以当DB使用,避免穿透

数据的更新分主动缓存及被动缓存

需要解决数据的一致性及有效性

如何使用,怎么组合,缓存什么数据,都需要结合业务场景,也需要一步步观察、总结才能优化。

欢迎工作一到五年的Java工程师朋友们加入Java填坑之路:860113481
群内提供免费的Java架构学习资料(里面有高可用、高并发、高性能及分布式、Jvm性能调优、Spring源码,MyBatis,Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多个知识点的架构资料)合理利用自己每一分每一秒的时间来学习提升自己,不要再用”没有时间“来掩饰自己思想上的懒惰!趁年轻,使劲拼,给未来的自己一个交代!
 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/101270.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • vmware15最新激活码【最新永久激活】2022.02.01[通俗易懂]

    (vmware15最新激活码)本文适用于JetBrains家族所有ide,包括IntelliJidea,phpstorm,webstorm,pycharm,datagrip等。IntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,下面是详细链接哦~https://javaforall.cn/100143.html…

  • vue笔记(2)vue中使用ajax

    vue笔记(1):https://blog.csdn.net/qq_43537987/article/details/93402865Vue中利用vue-resource发起Ajax请求除了vue-resource之外,还可以使用axios的第三方包实现实现数据的请求参考网址:https://www.runoob.com/vue2/vuejs-ajax.htmlhttp…

  • 操作系统 面试问题_程序员面试问题大全及答案大全

    操作系统 面试问题_程序员面试问题大全及答案大全操作系统的组成1、驱动程序是最底层的、直接控制和监视各类硬件的部分,它们的职责是隐藏硬件的具体细节,并向其他部分提供一个抽象的、通用的接口。2、内核是操作系统之最内核部分,通常运行在最高特权级,负责提供基础性、结构性的功能。3、支承库是一系列特殊的程序库,它们职责在于把系统所提供的基本服务包装成应用程序所能够使用的编程接口(API),是最靠近应用程序的部分。例如,GNUC运行期库就属于此类…

  • 一:Java语言概述

    一:Java语言概述文章目录01、软件开发介绍1.1、常用的DOS命令02、计算机编程语言介绍03、Java语言概述3.1、Java简史3.2、Java技术体系平台04、Java程序运行机制及运行过程4.1、Java两种核心机制05、Java语言的环境搭建06、开发体验—HelloWorld07、常见问题及解决方法08、注释(comment)09、小结第一个程序01、软件开发介绍软件开发软件,即一系列按照特定顺序组织的计算机数据和指令的集合。软件有系统软件和应用软件之分。人机交互方式图形化界面(Gra

  • win10控件安装不了_控件未安装或安装不正确

    win10控件安装不了_控件未安装或安装不正确 有关VCL控件的常见问题(安装、卸载、升级BCB版本等)控件安装(*.BPL)1.选择BCB菜单File→CloseAll(关闭所有文件)选择BCB菜单:Project→Options→Packages→Add,选择*.bpl文件,然后按“打开”按钮2.BCB菜单:Project→Options→Directories/Conditionals①Inclu

  • async/await Task Timeout

    async/await Task Timeout

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号