MySQL两地三中心方案初步设计

这是学习笔记的第 2057 篇文章

  今天梳理了下两地三中心的一些方案设计，算是抛砖引玉吧。

整体内容会按照如下的方式来进行设计：

首先说下方案的背景，我参考了一些资料（参见附件）。

方案背景

随着互联网业务快速发展，多IDC的业务支撑能力和要求也逐步提升，行业内的“两地三中心”方案较为流行。

其中两地是指同城、异地；三中心是指生产中心、同城容灾中心、异地容灾中心。

在早期，比较典型的是国内外银行多采用“两地三中心”建设方案。这种模式下，多个数据中心是主备关系，即存在主次，业务部署优先级存在差别，针对灾难的响应与切换周期非常长，RTO与RPO目标无法实现业务零中断，资源利用率低下，投资回报无法达到预期。两地三中心本质上是一种通过简单资源堆砌提高可用性的模式，对高可用的提高、业务连续性的保证仍然只是量变，业务连续性及容灾备份一直没有实质性的跨越。

目前，以银行为代表的、包括政府、公共交通、能源电力等诸多行业用户，开始将关注点转向“分布式多活数据中心”

通过双活的方案，具有两类特点。一是多IDC中心之间地位均等，在正常模式下协同工作，并行的为业务访问提供服务，实现了对资源的充分利用，避免一个或两个备份中心处于闲置状态，造成资源与投资浪费，通过资源整合，多活数据中心的服务能力往往双倍甚至数倍于主备数据中心模式；二是在一个数据中心发生故障或灾难的情况下，其他数据中心可以正常运行并对关键业务或全部业务实现接管，达到互为备份的效果，实现用户的“故障无感知”。

结合公司目前的业务运营情况，IDC机房主要在xxxx,xxx,同时在xxxx区域部署有一些IDC机房，其中数据中心主要以xxx为主，所以在两地三中心方案中，同城双活较为符合发展的趋势。

而两地三中心方案的设计，不光需要数据库层基于分布式进行改造，同时在业务层，系统层，网络层都需要相关的方案适配。

目标和计划：

ü 两地三中心的设计原则为同城双活，异地容灾，其中同城暂定为HB30,HB21,异地容灾暂定为华中或华东的IDC节点

ü 改造设计需要和业务端进行密切配合，从业务场景出发选择合适的方案

ü 考虑跨机房的支持，需要引入consul方案，实现service_name的高可用管理

ü 同城双活的数据要求为最终一致性，异地容灾暂不对业务开放，在30分钟内可以快速恢复业务

ü 可以设定短期目标和长期目标，短期目标可以充分借助开源红利和业务场景进行落地，在落地过程中不断的迭代改进；长期目标可以选择更为通用，技术挑战较大，业务效果好的方案（如异地多活）。 

ü 为了确保方案的有效，需要定期进行演练

方案简介

两地三中心方案中，基于设定的短期目标可以明确同城双活和异地容灾的方案组合。

则设计重点为同城双活，即在同城的数据中心之间，一般通过高速光纤相连，在网络带宽有保障的前提下，网络延迟一般在可接受范围内，两个机房之间可以认为在同一个局域网内。

在设计上可以和应用层结合起来，有两种部署模式：分为应用层双活和数据库双活，应用层双活和数据库单活。

1）

.应用层双活和数据库单活方案：

应用层双活，数据库单活：两个机房的应用程序同时对外提供服务，但是只有一个机房的数据库提供读写，另外一个机房的应用程序需要跨机房访问数据库，数据库之间单向复制。该模式在网络延迟相对低的同城环境下表现良好，但是如果距离超过100 公里，机房之间的网络延迟就会超过2ms（或者更高），此时对于跨机房访问的数据库请求，性能有较大影响。

针对同城网络延迟低，可以看作是同一个局域网的特点，对于应用双活+数据库单活的方案，应用跨机房访问数据库，一旦某个机房故障，则将另外一个机房的应用访问请求切换到本机房的数据库，从而实现同城任何一个数据中心出现故障，都不会影响到整体业务的运行。

由于同城之间网络条件相对较好，MySQL 数据库原生的复制模式能够满足大部分业务场景，MySQL 5.7 推出的并行复制可以有效解决容灾机房日志回放慢的问题，在5.7.17推出的MGR/InnoDB Cluster则可以实现数据的强一致需求。

方案一：MGR集群多活架构

整个架构是基于分布式方案来设计，节点通信基于协议Paxos，MGR作为InnoDB Cluster的核心组件，目前支持单主模式和多主模式，本方案优先采用单主模式，节点数至少2-9个节点。

基于MGR的多活的设计方案如下，在数据库层通过优先在本机房的实例节点设置权重，优先切换到同机房，在同机房出现故障的情况下，切换到同城异机房。

以上方案的实施成本较低，对业务的侵入较少，适用于跨机房容灾的初级阶段的用户。

2） 应用层双活，数据库双活方案

应用层双活和数据库双活：两个机房的应用程序同时对外提供服务，两个机房的数据库也同时提供读写，每个机房的应用程序读写同一个机房内的数据库，两个数据库之间双向复制，通过一致性协议解决双向写冲突问题，该模式理论上实现了数据库多点写入，但是在实际跨机房场景中，尤其是在写冲突密集的业务场景下，性能下降非常大，不适用于跨机房的OLTP 系统。

而对于应用双活+数据库多活的方案，需要重点考虑数据延迟和数据同步的问题。首先需要在业务上做隔离，数据目标为最终一致性，目前存在如下的五类方案。

方案一：MGR集群多活架构

可以基于MGR的多活特性，数据的写入可以在多个节点之间进行复制，实现数据强一致性需求，并且在节点间通信出现延迟的情况下，会自动实现服务降级。

对于此类方案，我们可以采用同机房多写，同城异机房只读的方案。

方案二：分布式数据同步

基于分布式设计方案，可以引入数据组件syncer和writer,实现机房多活的业务需求，syncer和writer为数据的发布者和消费者，基于分布式协议进行处理。

在处理过程中有三类关键技术：

1）数据的处理基于分布式ID，能够唯一定位数据处理操作，并且该操作具备递增趋势。

2）同步组件的稳定性，同步组件可以理解为一种通用服务，需要考虑不同机房间的数据延迟和数据冲突处理机制，保证同步组件服务的稳定，高效。

3）同步组件的高可用，对于同步组件需要根据业务特点做权重处理，考虑不通IDC的业务情况，并重点考虑同步组件的数据冗余设计，保证发生异常时能够及时恢复数据。

此种方案短期内难以实现，但是长期来看，可以支持机房多活，业务价值更高。

方案三：双主模式的多活

对于数据库原生的双主模式，两个节点均可以写入数据，可以实现跨机房的数据复制，延迟较低，在业务层需要做隔离，在故障发生时能够快速切换到同机房的Slave节点。

此方案对于两个IDC机房的场景中较为实用，但是机房多活的场景不适合。

方案四：业务交叉的双活方案

此种方案是双活技术的变通实现，即存在两类业务A和B,数据存储在database级别（schema层级），分别在不通的IDC节点完成数据写入，比如业务A在IDC1完成写入，业务B在IDC2完成写入，两个节点之间存在跨机房的复制节点，在出现问题时，能够通过域名的方式切换到指定的IDC节点。

此种方案对于业务的依赖性较高，不适合机房多活的场景。

方案五：基于NewSQL的改造方案

可以参考行业内的NewSQL开源解决方案，原生支持MySQL协议。 

比如PolarDB,Sequoia，TiDB等。 

欢迎大家抛砖引玉，后续跟进阅读量考虑要不要继续展开。：） 

相关链接：

互联网行业如何做好两地三中心灾备？

http://www.h3c.com/cn/d_201307/790142_30008_0.htm