《MySQL45讲》读书笔记(三):内存数据刷盘机制

《MySQL45讲》读书笔记(三):内存数据刷盘机制此文为极客时间:MySQL实战45讲的12节的学习笔记一、mysql的刷盘机制而之前提到过,mysql使用了WAL技术,即更新的时候先更新内存中的数据,然后必要的时候再将内存中的数据刷入磁

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

此文为极客时间:MySQL实战45讲的12节的学习笔记

一、mysql 的刷盘机制

而之前提到过,mysql 使用了 WAL 技术,即更新的时候先更新内存中的数据,然后必要的时候再将内存中的数据刷入磁盘。我们把内存中这些被修改过,跟磁盘中的数据页不一致的数据页称为脏页。

其中,有四种情况会触发脏页的刷盘:

  1. redo log 可写空间满了。
  2. 内存满了,需要淘汰的数据页恰好是脏页。
  3. 系统不繁忙的时候。
  4. 关闭数据库的时候。

其中,第三种情况不会为系统带来过多影响的,第四中情况下不会在乎为系统带来的影响。所以我们只需要关注第一和第二种情况:

对于第二种情况,由于 mysql 的更新需要先写日志,所以当日志满了的情况下,所有的更新都会停止,一直到刷完盘日志腾出了空间为止

而对于第二种情况,当查询的数据在内存中的数据页没有的时候,就需要淘汰旧页释放内存以读入新页,所以当一次查询导致需要淘汰的脏页过多的时候,就需要先等待较长的刷盘时间,然后才能获取响应

为了避免上述两种情况,必须要控制脏页在内存中的比例。

二、刷脏页的控制策略

首先,我们必须要知道主机磁盘的写入能力有多强,这样 innodb 才可以知道它刷脏页的速度最快应该是多快。

我们可以通过设置 innodb_io_capacity 这个参数来告诉 innodb 磁盘的写入速度。这个参数的值不宜过小,因为这会导致 innodb 错误的估计刷盘速度,最后导致刷脏页的速度跟不上脏页生成的速度。

innodb_io_capacity规定了刷脏页速度的极限,但是实际上磁盘不可能只服务这么一个功能,所以还需要参考 redo log 的刷盘速度允许的内存中的脏页比例。

参数 innodb_max_dirty_pages_pct 是脏页比例上限,默认值是 75%。innodb 会根据当前的脏页比例(假设为 M),算出一个范围在 0 到 100 之间的数字,这个公式是 F1(M)

而每次写入 redo log 的写入点 wp 都会有一个序号,innodb 会根据这个序号和上一次清理日志的界限 cp 之间的差值——我们假设为 N——计算得到一个范围在 0 到 100 之间的数字,这个公式是 F2(N)

根据上述算得的 F1(M)F2(N) 两个值,取其中较大的值记为 R,之后引擎就可以按照 innodb_io_capacity 定义的能力乘以 R% 来控制刷脏页的速度。

这一整个流程对应的图片是这样的:

image-20201029164736099

所以,我们需要关注内存中的脏页比例,让它尽量不要到75%,并且合理的设置 innodb_io_capacity 参数。

其中,针对脏页的比例,我们可以通过 Innodb_buffer_pool_pages_dirty/Innodb_buffer_pool_pages_total去设置。

另外,由于 mysql 存在这样一个机制:如果要刷盘的脏页相邻的数据页恰好也是脏页,就一起写入磁盘,如果邻居的邻居也是如此。在机械硬盘时代这个策略可以减少随机IO,但是如果使用固态硬盘的话随机IO的性能往往比较高,所以使用这个策略反而拖累了查询性能。因此可以通过 innodb_flush_neighbors关闭这个“连坐”的策略。

三、总结

innodb 有四种情况会触发脏页的刷盘:

  • redo log 可写空间满了;
  • 内存满了,需要淘汰的数据页恰好是脏页;
  • 系统不繁忙的时候;
  • 关闭数据库的时候。

innodb 通过的刷盘速度通过类似这样的公式计算:

innodb_io_capacity * Max( F(innodb_max_dirty_pages_pct), F(redo log的wp - redo log的cp) )

其中,innodb_io_capacity表示磁盘的最大IO能力;innodb_max_dirty_pages_pct表示允许脏页在内存中的占比,默认值为75%;

当使用固态硬盘的时候,可以设置innodb_flush_neighbors关闭默认的刷新相邻脏页的策略。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/170785.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 2.5.1大礼包

    2.5.1大礼包查找:全局搜索 prefs:root=或者 openURL:不要有“prefs:root=xxxx”这个可能出在自己项目中,特别是接手老项目,另一种可能是第三方sdk里出现的特别是调用相册相机调用wifi这类的第三方框架或SDK。如果第三方出现重新下载最新的包或者换第三方,联系第三方sdk开发者修改。修改一般只弹框提示不做跳转或者用苹果提供的方法。不要出现:@"pre…

  • docker(10)上传本地镜像到镜像仓库[通俗易懂]

    docker(10)上传本地镜像到镜像仓库[通俗易懂]前言之前通过docker搭建过jenkins+python3环境,如果想要在不同的机器上搭建一样的环境,就可以将之前搭建的镜像上传到镜像仓库,这样方便在不同的机器上快速搭建同一套环境。如果公开的话

  • 笔记本卡顿不流畅是什么原因_笔记本卡顿不流畅是什么原因_笔记本电脑卡顿不流畅如何解决-win7之家…「建议收藏」

    笔记本卡顿不流畅是什么原因_笔记本卡顿不流畅是什么原因_笔记本电脑卡顿不流畅如何解决-win7之家…「建议收藏」有不少笔记本电脑用户在使用过程中,发现会经常会遇到卡顿不流畅的情况,很多用户不知道是什么原因引起的,其实原因有很多,可能是电脑本身配置不足,或者电脑占用率过高,或者内存不足等,接下来给大家带来笔记本电脑卡顿不流畅的详细解决方法吧。具体步骤如下:1、CPU不足电脑卡顿很多时候都是因为CPU占用过高,实质还是CPU太小引起的,我们可以将多余的进程或者软件关闭,或者更换性能好的CPU来解决这个问题,电脑…

  • 带通 带阻滤波器 幅频响应_方程推导:二阶有源带通滤波器设计!(内附教程+原理图+视频+代码下载)…[通俗易懂]

    带通 带阻滤波器 幅频响应_方程推导:二阶有源带通滤波器设计!(内附教程+原理图+视频+代码下载)…[通俗易懂]1、背景对于微弱的信号的处理方式一般是:放大和滤波,这个过程中就涉及到放大电路的选取、滤波器的选择以及偏置电路的设计。本例以实例的方式讲解并附带参数计算、仿真、实物测试三个环节。假设需要处理一个20mV的正弦信号,该信号的频率范围是15~35Hz,经过处理后幅值不超过3.3V,且需要经过带通滤波器滤除杂波。2、滤波器定义滤波电路又称为滤波器,是一种选频电路,能够使特定频率范围的信号通过,…

  • linux中rar解压命令_tar解压zip文件

    linux中rar解压命令_tar解压zip文件例1:添加文件或目录到压缩档案中,使用a命令。例如把文件files1添加到abc.rar中,使用a或m命令,a命令把file1文件添加到abc.rar档案中保持原有的file1文件不变,m命令移动file1文件到file1.rar档案中(压缩完成后会删除原有的file1文件,注意:m命令只针对文件进行操作)$raraabc.rarfile1说明:如果此时abc.rar档案不存在,会自行创建a…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号