[发明专利]一种基于高速缓存的数据中心间广域数据同步方法

说明书

技术领域

本发明涉及一种基于高速缓存的数据中心间广域数据同步方法，属于通信技术领域。

背景技术

现有的实时数据管理系统，一般是以一个数据中心为单位，进行数据的分布式管理。即使有远程数据中心的同步功能，也有同步时间长，带宽占用大等缺点，而且往往系统非常庞杂，给用户带来的投入成本大。

发明内容

为解决现有技术上的不足，本发明目的是在于是提供一种同步效率高、占用带宽小、可靠性高、可移植性好、部署简单的数据中心间广域数据同步方法。

为实现上述目的，本发明的技术方案为：

一种基于高速缓存的数据中心间广域数据同步方法。本发明以远程数据中心同步为主要目的，提高本地数据访问效率为次要目的，以增量更新、增量同步和文件备份为方法，提供了一种本地和远程访问效率高，同步传输的数据量小，在远程服务器离线一段时间的条件下也能保证系统一致性的数据中心间广域数据同步方法。

本发明采用以下的技术方案来实现：

本发明的一种基于高速缓存的数据中心间广域数据同步方法，其特征在于包括以下步骤：

（1）同步系统的初始化：服务程序启动后，根据配置将系统访问频繁的数据预先装入内存。并与需要同步的数据中心进行通信，比较正本与副本的差别，或有无副本，然后进行同步。比较前首先对正本和副本按照同样的策略进行分片，比较每个分片的差别，然后对有差别的分片进行同步；

（2）数据的读写访问：对数据的访问皆通过系统提供的接口直接对内存中的缓存进行读写，后台的服务程序有一个或多个独立线程将内存中的缓存写入硬盘。后台的服务线程采取周期性将通过接口修改的内容批量写入硬盘，保证数据的持久性，不是每次修改立刻写入，也不是周期性的将所有数据写入硬盘。

（3）数据的远程同步：周期性将通过接口修改的内容从内存中直接同步到远程数据中心，不是每次修改立刻同步，也不是周期性的同步所有数据。若远程接收的服务器离线，本地服务器会将此期间的大量内存修改保存在本地文件中。待网络恢复时将文件发送到远程数据中心进行更新，保证系统的可靠性。

（4）数据服务器的双机互备：备机搭建并初始化完成后，高速缓存也与主机一致。此时开始接收数据的同步更新，通过网络从主机接收修改的内容同步到内存和硬盘。当主机宕机后备机立即接替承担服务任务即升为主机，并继续与远程数据中心的服务器进行同步。待故障服务器修复后可人工选择继续担任主机角色执行远程同步任务或恢复到备机状态。

上述功能均由计算机程序实现，能够运行在各种UNIX和Linux、Windows操作系统上，且不依赖操作系统自带的软件。

5法的自动切换和主备竞争机制，自动判断是否进行应用状态的切换。流  本发明通过以上步骤，可达以下技术效果：

1、同步效率高，只针对数据的修改部分进行同步；

2、占用带宽小，采用数据的分片比较方式，避免了初始化、正常同步或异常恢复时传送所有数据；

3、可靠性高，若远程主机离线可将修改存在本地，待网络恢复继续同步。且采用双机互备技术；

4、可移植性好，所有功能完全是有计算机程序实现，可运行在各种UNIX和Linux、Windows操作系统上，不需要借助任何操作系统自带的软件；

5、具有跨平台能力，源端和目的端可部署在不同操作系统的服务器上；

6、需预加载的数据，高速缓存的上限，分片的大小等参数编程可调；

7、部署简单，只需部署一个服务程序、一个动态库、一个配置文件即可运行。

附图说明

图1是本发明中数据中心间广域数据同步流程图；

图2是本发明中数据读写访问流程图；

图3本发明中系统初始化流程图。

具体实施方式

下面结合附图对本发明的基于高速缓存的数据中心间广域数据同步方法作进一步的说明。

参见图1和图2，本发明一种基于高速缓存的数据中心间广域数据同步方法，其以远程数据中心同步为主要目的，提高本地数据访问效率为次要目的，以增量更新、增量同步和文件备份为方法，而提供了一种本地和远程访问效率高，同步传输的数据量小，在远程服务器离线一段时间的条件下也能保证系统一致性的数据中心间广域数据同步方法，其包括以下步骤：

（1）同步的对象全部为内存中的实时数据，对磁盘上的文件进行同步需先读入内存；