[发明专利]内存数据库和物理数据库间的数据同步方法

说明书

技术领域

本发明涉及数据处理方法，尤其涉及一种内存数据库和物理数据库间的数据同步方法。

背景技术

现代通信对计算机技术依赖性越来越强，在电信运营商的不断发展中，建立起各类信息系统，包括运营网络系统、综合营帐系统、计费系统、办公自动化系统、客户服务系统、大客户管理系统、经营分析与决策系统等等，这些系统积累了海量的有价值的数据资料，通过对这些资料进行数据挖掘、查询分析和联机分析，可以识别市场机会、制定市场策略，进一步改善客户关系。但是，这些数据资料过于庞大了，记录条数动辄以亿计，以中国移动为例，其全国移动电话用户总数已经超过三亿，许多省公司的用户规模都超过千万，对于如此庞大的数据量，传统的基于磁盘的物理数据库(RMDB)管理系统越来越难以应付，于是内存数据库(MDB)在电信领域出现了。

由于市场与技术的快速发展，电信业务在不断扩充，其运营和管理不断优化，传统的一些支撑系统的架构已经逐渐不能满足日益增长的业务要求和客户需求，引入一些新的技术来解决我们生产中遇到的问题是必然的。通过采用内存数据库来代替以前的共享内存技术，使得原来在内存中不标准的东西，包括接口、格式和管理都标准化了。

内存数据库，就是将数据放在内存中直接操作的数据库。相对于磁盘，内存的数据读写速要高出几个数量级，将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能。同时内存数据库抛弃了磁盘数据管理的传统方式，基于全部数据都在内存中重新设计了体系结构，并且在数据缓存、快速算法、并行操作方面也进行了相应的改进，所以数据处理速度比传统数据库的数据处理速度要快很多，一般都在10倍以上。

相对于利用程序开发手段调用内存处理来说，内存数据库自有其优势。首先，内存数据库是产品化的数据库管理软件，极大缩短了开发周期；其次，内存数据库有着开放的平台和接口，程序开发和移植更加灵活便捷，也便于维护和二次开发；第三，可以通过使用统一的SQL语言方便地查询内存中的数据；最后，能在数据库中保障数据的安全性和完整性。这些优势，对于快速部署和简化维护都是有利的。

电信营业数据和计费系统中的数据总是在不断的变化中，这就涉及内存数据库中的数据和物理数据库(磁盘数据库)数据的同步问题。系统中的数据同步包括两部分：从内存数据库到物理数据库同步(反向同步)和从物理数据库到内存数据库的同步(正向同步)。

1、正向同步。这部分数据同步采用增量表的方式，营业系统或CRM(客户关系管理)新增或更新的数据将生成到物理数据库的增量表中，然后同步程序把这些数据同步到内存数据库中。由于增量表的数据量很小，以及数据同步的实时性强，不会影响计费程序。

2、反向同步。由于物理数据库的计费后台批价、累账数据几乎都加载到了内存数据库中，所以物理数据库对应的数据表将主要用于对内存数据库的数据备份和周边应用的数据查询。为了保证周边应用获取数据的正确性，把内存表的变动生成逻辑日志，然后由同步程序实时的向物理数据库中同步。

现有的数据同步方式需要记录大量的逻辑日志，数据同步效率不高，因此亟需改进。

发明内容

本发明的目的在于提供一种高效率的内存数据库和物理数据库间的数据同步方法。

为实现上述目的，本发明提供一种内存数据库和物理数据库间的数据同步方法，包括：

步骤1、以SQL操作的形式表示对源数据库的操作，将SQL操作分解为SQL语法和相应的SQL参数，注册操作源数据库的SQL语法和SQL参数，并将注册的SQL语法和SQL参数存储于SQL管理区中加以管理；

步骤2、对于源数据库的数据变动，以SQL语法结合SQL参数的形式生成逻辑日志；

步骤3、根据注册的SQL语法和SQL参数，将步骤2中的逻辑日志在目的数据库重做。

其中，步骤3中，每条逻辑日志关联一个SQL语法，在执行目的数据库的重做时，首先通过管理区中注册的SQL语法查找准备后的SQL语法，如果没有则进行SQL语法的准备，然后再执行SQL语法对目的数据库重做。

一方面，对于从内存数据库到物理数据库的数据同步：

步骤1中，当系统中能够操作内存数据库的应用进程开始运行时，该应用进程首先注册SQL语法和SQL参数到内存数据库，同时生成一份拷贝存储于SQL管理区中，该拷贝供执行物理数据库的日志重做用；

步骤2中，捕获系统中的应用进程对内存数据库的操作，以SQL语法结合SQL参数的形式生成逻辑日志；

步骤3中，根据注册的SQL语法和SQL参数，将步骤2中的逻辑日志在物理数据库中重做。