第十六章《持久化》

第十六章《持久化》

redis 持久化
RDB:快照的形式实现的持久化
AOF:日志的形式实现的持久化

1.RDB:默认的持久化方式,把某一时刻redis内存中的数据以二进制文件的形式保存到磁盘中
触发机制:
【手动】:save、bgsave
save:阻塞当前的redis服务,将数据dump到零时的dump.rdb这个文件,然后再把dump.rdb文件保存到磁盘中(线上不建议使用,阻塞redis服务)
bgsave:fork出一个子进程,由子进程完成持久化,只有fork子进程这个过程阻塞;
在执行debug load重载或者是shutdown关闭redis服务,默认都会执行bgsave;
【自动】:通过配置文件来配置

save 900 1 //900秒内进行一次数据操作更新就会触发
save 300 10 //300秒内进行10次数据更新更新就会触发
save 60 10000 //60秒内进行10000次数据更新就会触发

RDB持久化的优缺点;
优点:
(1)rdb是一个紧凑压缩的二进制文件,代表redis在某一个时间点上的数据快照,非常适用于全量备份的场景。(2)redis加载rdb文件来会数据要快AOF的方式
缺点:
(1)RDB持久化方式没法做到实时持久化/秒级持久化,因为每次bgsave每次都会fork子进程,属于重量级操作,频繁执行会消耗redis性能,阻塞redis服务;
(2)rdb文件使用特定二进制格式保存,redis不同版本兼容的二进制格式不同
(3)如果在save的过程当中redis宕机,没有被持久化到磁盘的这部分数据会丢失,为了解决这个问题,redis提供了AOF持久化方式。

AOF(append only file):以独立日志的方式记录每次写命令,重启时在重新执行AOF日志中记录的写命令,达到恢复数据的目的,AOF就是用来解决数据的实时持久化;
appendonly yes //开启AOF持久化
appendfilename “appendonly.aof” //默认的aof文件名
AOF的同步策略
appendfsync always //redis每写入一条数据就会调用fsync同步到磁盘的aof文件;
appendfsync everysec //每隔一秒钟同步一次
appendfsync no //不进行同步;默认每隔30s进行一次同步

AOFrewrite:随着写入aof文件的内容越来越多,aof文件变得更大
(1)进程中已经超时的数据不在写入文件
(2)旧的aof文件中包含了无效命令,比如del key1、hdel key2 、srem keys、set 111 、set 222、set 333这些命令

【手动】bgrewrite 触发重写aof文件
【自动】
auto-aof-rewrite-percentage 100 //当aof文件里面的内容超过了预设定值的100%
auto-aof-rewrite-min-size 64mb //触发重写的aof文件量不少于64M

aof持久化流程
(1)所有写入命令追加到aof_buf(缓冲区)中;
(2)aof缓冲区根据对应策略向硬盘做同步操作
(3)随着aof文件越来越大,需要定期对aof文件进行重写,达到压缩目的

小知识:
(1)在aof文件没有进行重写之前我们可以通过编辑appendonly.aof文件来取消误操作
(2)redis重启时会优先加载aof文件进行数据恢复,因为aof文件数据比较完整。

持久化常见问题和优化;
1.fork操作:
当redis进行rdb和aof重写时,都必须要fork子进程,对于操作系统来说fork属于一个重量级操作
在fork的过程中会阻塞,特别是我们使用的时虚拟化技术尤其是Xen虚拟机,fork会更耗时
优化;
(1)优先使用物理机或者高效支持fork操作的虚拟化技术;
(2)控制redis实例最大可用内存,fork耗时和内存量成正比,线上建议每隔redis内存控制在10G以内
2.子进程开销和优化:
(1)cpu:子进程负责把进程内的数据分批写入文件,cpu密集操作,子进程对单核cpu利用率接近90%
优化:尽量redis服务多分配cpu核心数,不要和其他cpu密集型应用或服务部署到同一台服务器;
(2)内存:子进程理论上也会占用和父进程一样的内存,所以对内存的消耗也很大
优化:内存存储的数据量不要太大,不要和其他内存使用量大的服务器部署在同一台服务器;
(3)硬盘:子进程主要用于将内存中的数据同步到硬盘中,因此在持久化的过程中对硬盘的I/O性能开销大。aof文件的重写也会消耗大量的硬盘IO;
优化:(1)不要和其他高硬盘负载的服务部署在一起
(2)对于多个redis实例部署在一台机器上这种情况,我们可以通过设置不同数据保存路径来分摊硬盘的写入压力
(3)AOF重写消耗大量硬盘IO,可以开启no-appendfsync-on-rewrite yes 标识在重写期间不进行sync操作

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/101962.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • html5 sexteen,Teen Sex on the Rise in Guangzhou

    html5 sexteen,Teen Sex on the Rise in GuangzhouSexamongmiddleschoolstudentsmaybecontributingtogrowingsterilityproblemsamongyoungwomeninGuangzhou,thecapitalofsouthChina’sGuangdongProvince,saysaprominentlocaldoctor.Puppy…

  • 1.2.太极平台框架简介

    1.2.太极平台框架简介1、太极平台框架简介太极平台框架,是专为制作管理后台系统而开发的一个框架。使用该框架,可以非常快速的搭建后台管理系统。针对于列表、以及增删改查这种通用的功能,太极框架只需要配置列表有哪些字段,以及这些字段的一些属性,就能创建出一个增删改查的功能。不需要编写任何代码即可完成。列表功能可设置字段的各种显示效果,自动格式化各种类型的字段数据。比如只需要设置字段为搜索项,就自动拥有搜索功能。添…

  • 培训java机构排行榜_北京java培训班哪家好

    培训java机构排行榜_北京java培训班哪家好要说国内的就业市场中,薪资高待遇好的当属Java软件开发岗位了,因Java软件开发的职业发展稳定获得了不少从业者的追捧。对于想要学习Java的同学来说,培训就成了进入这个行业的敲门砖,很多零基础不太懂这个行业的同学,想要找一家比较好的培训机构,都会在网络上搜索一些像“北京Java培训机构排名”这样的词,能够在其中得到一些参考,下面是通过行业口碑,Java就业率,诚信度,课程体系,Java师资,教学质量,授课方式等多方面得出的北京Java培训机构排名,参考意义很强。就算我们有了排名上的参考,也需.

  • 对知识推理的认识的相关论文

    对知识推理的认识的相关论文​论文一()中文引用格式:官赛萍,靳小龙,贾岩涛,王元卓,程学旗.面向知识图谱的知识推理研究进展.软件学报,2018,29(10):29662994.http://www.jos.org.cn/1000-9825/5551.htm1.1知识推理的简介面向知识图谱的知识推理旨在基于已有的知识图谱事实,推理新的事实或识别错误知识。例如,在DBpedia中已知三元组(X,birthPlace,Y),可以在很大程度上推理出缺失的三元组(X,nationality,Y)。主要分为:

  • Lena图像分解成小块与从小块合成

    Lena图像分解成小块与从小块合成 ➤01背景在2020年人工神经网络课程第一次作业第八题中需要对Lena图像使用AutoEncode网络进行压缩。将Lena(灰度图像)拆解成不同尺寸的大小形成训练压缩样本过程;或者从训练结果重新组合成Lena灰度图像是实验的基础。▲Lena灰度图像下面给出相关操作的Python程序和相关的结果。主要操作包括:将512×512的Lena灰度图片(0~255)分割成边长8~16的图像块,并通过行扫描形行向量;对图像进行归一化,形成数据在-0.5~0.5之

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号