[发明专利]一种跨网间的数据库同步方法和系统

说明书

本申请公开了一种跨网间的数据库同步方法和系统，其中，方法包括以下步骤：统计关系型数据库的变更信息；根据所述变更信息锁定该变更信息在关系型数据库中的具体位置；根据所述变更信息与该变更信息的具体位置信息进行整合包装，生成待处理文件；利用所述待处理对非关系型数据库进行数据同步；在非关系型数据库中对同步后的数据进行去重，得到同步去重后的数据，完成数据同步。本发明可实现关系型数据库与非关系型数据库之间的数据同步与去重，解决了关系型数据库扩充困难、读写能力弱、多表查询繁琐的问题，充分实现海量数据存储与可视化，方便快捷。

技术领域

本申请涉及数据同步应用领域，具体而言涉及一种跨网间的数据库同步方法和系统。

背景技术

数据库是目前应用系统处理核心，不但应用系统需要向数据库进行增/删改/查操作，同样数据仓库也需要从众多的数据库中获取不同交易数据来完善自身的数据集市。数据量的快速增长导致对主机负荷的过重要求，特别是数据查询统计分析等需求更是把硬件升级推到了扩容的边缘，越来越多的企业开始把查询从主业务数据库转移到建立单独的查询服务器来满足日益增长的查询需求。

关系数据库是建立在关系数据库模型基础上的数据库，借助于集合代数等概念和方法来处理数据库中的数据。关系数据库同时也是一个被组织成一组拥有正式描述性的表格，该表格实质是装载着数据项的特殊收集体，表格中的数据能以不同的方式被存取(或重新召集)而不需要重新组织数据库表格。但是，关系型数据库也有许多的不足：1.大量数据的写入处理；2.为有数据更新的表做索引或表结构(schema)变更；3.字段不固定时应用；4.对简单查询需要快速返回结果的处理。

针对以上难题，NoSQL应运而生。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。

发明内容

本申请公开了一种跨网间的数据库同步方法和系统，对关系型数据库中修改的数据同步到非关系型数据库中。

为达到上述目的，本申请提供了以下方案：

一种跨网间的数据库同步方法和系统，包括一下步骤：

S1.统计关系型数据库的变更信息；

S2.根据所述变更信息锁定该变更信息在关系型数据库中的具体位置；

S3.根据所述变更信息与该变更信息的具体位置信息进行整合包装，生成待处理文件；

S4.利用所述待处理文件对非关系型数据库数据进行数据同步；

S5.在非关系型数据库中对同步后的数据进行去重，得到同步去重后的数据，完成数据同步。

优选的，所述S1中，所述统计关系型数据库变更信息的方法包括：

统计关系型数据库中的insert语句出现的频次和操作对象，得到关系型数据库中“增”功能带来的变更数据；

统计关系型数据库中的update语句出现的频次和操作对象，得到关系型数据库中“改”功能带来的变更数据；

统计关系型数据库中的delete语句出现的频次和操作对象，得到关系型数据库中“删”功能带来的变更数据。

优选的，所述S2中，所述根据变更信息锁定变更信息在关系型数据库中的具体位置包括：

基于所述关系型数据库变更信息的变更数据，提取出数据变更位置信息与数据变更内容信息。

优选的，对所述数据变更位置信息与数据变更内容信息整合包装的方法包括：

将所述提取的数据变更位置信息与数据变更内容信息按照“insert”“update”“delete”分类；