MySQL数据库备份和恢复方案小结[通俗易懂]

MySQL数据库备份和恢复方案小结[通俗易懂]这两天在调研MySQL数据库的备份和恢复方案,备份对象是对大量Innodb表,或者加上少量的MyISAM表。 InnoDB备份常见问题:文件一致性:数据文件、缓存、日志文件必须保持严格一致。加锁的方法没法保证一致性,因为InnoDB后台刷新数据是异步进行的。数据一致性:不能一次锁住一张表,这个备份的是不同时刻的表数据;如果一次锁住所有表,innodb的mvcc机制会增加undo日志…

大家好,又见面了,我是你们的朋友全栈君。

这两天在调研MySQL数据库的备份和恢复方案,备份对象是对大量Innodb表,或者加上少量的MyISAM表。

 

InnoDB备份常见问题:

文件一致性:数据文件、缓存、日志文件必须保持严格一致。加锁的方法没法保证一致性,因为InnoDB后台刷新数据是异步进行的。

数据一致性:不能一次锁住一张表,这个备份的是不同时刻的表数据;如果一次锁住所有表,innodb的mvcc机制会增加undo日志,同时DDL操作的话也会有风险。

复制:如果支持主备结构,还要缓存主备同步的信息。

所以,要在不停止mysql的情况下对innodb表进行热备份,文件一致性和数据一致性很难保证。

 

 

本人尝试了以下备份和恢复方法:

1. 使用mysqldump工具,类似的有mypump(5.7.11之后有用,多线程导出,能实现数据一致性). 这种方法适合在数据量比较少的情况下使用(个人认为数据量<100G可行),在一台30G的数据库上进行备份,备份出来的数据文件8G(因为没有导出来索引等其他数据库信息,因此文件通常比数据库小的多),使用时间8分钟,恢复时间用了差不多办个小时。顺便说一句,导出时使用order-by-primary参数应该可以提高几倍的导入性能(和mysql的聚集索引有关)

2. Mylvnbackup文件系统快照:要求所有的数据文件都在LVM卷上,由于我的测试系统不满足该条件,没有测试成功。

3.SAN\DRBD\RAID:硬件层次的拷贝,不是真正的备份,在主数据库上误操作删除数据库,没法恢复。

4.MySQL EnterpriseBackup: oracle官方出品,直接基于物理文件备份。收费软件, 每台服务器$5000 ,太贵了,直接放弃。

  这个工具有个很大的优点:支持Windows环境上Mysql数据库备份。我查了很多物理备份工具都没有这个功能。

5.Percona XtraBackup: 该工具功能十分强大,能满足中型和部分大型生产环境。该工具也是基于数据库物理文件进行备份,现执行物理备份,然后使用–prepare选项对拷贝的文件进行一次内部崩溃恢复,以便产生一致性备份。该工具可以进行全量备份和增量,我在一台测试环境上测试,30G的数据库备份之后用了17分钟,cpu占用率也不高,备份后大小是20G,几个小时后基于上次的全量备份做了次增量备份,居然花了13分钟。

该工具全量备份效率应该没有问题。增量备份耗时有点超出意料。后续再测试下。

关于该工具的详细信息:https://www.percona.com/software/mysql-database/percona-xtrabackup

6. Zmanda Recover Manager: 有免费和商业版两种,商业版可以提供网页版的管理工具,并且支持windows环境上的mysql备份

  该工具的原理是先创建快照,再根据快照创建全量备份。增量备份采用的是二进制日志。

  该工具的优点可以使用web端进行管理,定制备份策略,监控备份状态。

  该工具的配置文件可以配置采用逻辑备份还是raw(物理备份),但是我在实际测试中发现3.0版本不能对5.6版本的mysql进行物理备份,不管配置的备份方式是什么,该工具都使用mysqldump进行逻辑备份。难道是程序bug?优点坑。

  有兴趣的朋友可以研究下:http://www.zmanda.com/download-zrm.php

 

 

要实现数据库的安全备份,我的理解是必须要有以下几点:

1. 全量备份(一周或者二周一次)

2.二进制日志:能够实现基于时间点的恢复。 根据业务场景选择适当的时间间隔定时备份二进制日志,如rsync。

3.至少要有一台备机:否则主机出问题后,恢复数据库期间会造成业务中断

4.完备的数据恢复测试:根据恢复后的日志文件、数据文件的大小、关键事件信息验证备份信息是否有效。

 

备份和恢复是个吃力不讨好的活,功能正常没有功劳,出点错误都是惊天动地的大事。

 

 

 

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/134698.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 程序员垃圾简历长什么样?

    程序员垃圾简历长什么样?已经连续五年参加大厂校招、社招的技术面试工作,简历看的不下于万份这篇文章会用实例告诉你,什么是差的程序员简历!疫情快要结束了,各个公司也都开始春招了,作为即将红遍大江南北的新晋UP主,那当然要为小伙伴们做点事(手动狗头)。就在公众号里公开征简历,义务帮大家看,并一一点评。《启舰:春招在即,义务帮大家看看简历吧》一石激起千层浪,三天收到两百多封简历。花光了两个星期的所有空闲时…

  • struts2于validate要使用

    struts2于validate要使用

  • VM无法与SecureCRTPortable.exe 相连接不上时

    VM无法与SecureCRTPortable.exe 相连接不上时1.IP地址已经配置成功2.打开后打开后连接不上3.点击更改设置还原默认设置4.在重新将子网ip改为192.168.100.05.这样就OK了

  • 服务器基础知识

    服务器基础知识

    2020年11月19日
  • python mysql 清空表数据

    python mysql 清空表数据mydb=mysql.connector.connect(user=user,password=pwd,host=‘127.0.0.1’,database=‘stock’)mycursor=mydb.cursor()mycursor=mydb.cursor()sql=‘truncatetablehistory’##清空#mycursor.execute…

  • C++中构造函数的作用「建议收藏」

    C++中构造函数的作用「建议收藏」构造函数用于解决类中的对象初始化的问题构造函数是一类特殊的函数,与其他的成员函数不同的是构造函数构造函数不需要用户来调用它,而是建立对象的时候自动的执行#include//#include”student.h”//#include//#includeusingnamespacestd;classTime{publi

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号