[发明专利]一种关系数据库到无模式数据库异步转换系统及方法

说明书

技术领域

本发明涉及互联网行业分布式数据库领域，尤其涉及一种关系数据库到无模式数据库异步转换系统及方法。

背景技术

传统关系数据库是目前Web应用中存取数据的主要形式。然而，随着Web2.0、大数据、云应用等技术的发展，传统的关系数据库在I/O、可扩展性上遇到了瓶颈，在大数据存取和访问时效率急剧下降，在高可扩展性和高可用性方面也遇到难题。为了解决此问题，许多方案相继提出，比如分布式数据库、主从数据库、无模式数据库等。无模式数据库，是一种模式自由的数据库，其模式主要为关系、树、图、文档等多种方式。实际上，很难完全抛弃现有的关系数据库而直接使用无模式数据库。以关系数据库为主，无模式数据库为辅，成了工业界和产业界普遍接受的方案。

现有的技术中，存在两类关系数据库与无模式数据库进行结合的方法：（1）以用户插件的方法，将无模式数据库集成到关系数据库中，使得关系数据库同时支持关系操作和无模式操作。该方法缺点是大量的打开/关闭表的操作十分耗时，降低了数据库性能；（2）混合使用关系数据库，以关系数据库为主，无模式数据库为辅，使用关系数据库进行大数据更新操作，采用某种机制将关系数据库模式和数据同步到无模式数据库。对于大数据的查询直接使用无模式数据库，而更新仍采用关系数据库。该方法优点是既解决了关系数据库中大数据的查询瓶颈问题，又解决了无模式数据库更新瓶颈问题。该方法的难点是如何将关系数据库模式和数据转换到无模式数据库。现有技术的解决方案及实现主要有两种方法：（1）通过关系数据库触发器，将数据的变化记录到临时查询表。该查询表通常由ID、表名、行号、时间戳和操作等模式构成。然后将临时查询表的数据同步到目标无模式数据库；（2）对方法（1）改进，取消临时查询表，通过增加关系数据库自定义HTTP函数，直接将关系数据库数据变化增量通过HTTP协议发送给目标无模式数据库，实现数据和模式的同步。

综上，现有关系数据库到无模式数据库的转换方法主要有以下问题：（1）不管是触发器还是用户自定义函数，其严重影响关系数据库性能；（2）数据传输过程无法保证数据操作的有序性，容易造成数据的不一致；（3）同步方式会阻塞数据库进程，降低关系数据库的模式和数据更新性能。

发明内容

本发明的目的就是为了解决上述问题，提供一种关系数据库到无模式数据库异步转换系统及方法，将关系数据库的模式和数据通过该装置异步转换到无模式数据库，以关系数据库为主，无模式数据库为辅，用于解决传统关系数据库在大数据查询时的I/O瓶颈问题。

为了实现上述目的，本发明采用如下技术方案：

一种关系数据库到无模式数据库异步转换系统，包括关系数据库，所述关系数据库将信号传输给日志监听器，所述日志监听器将信号传输给模式调整器，所述模式调整器将信号传输给无模式数据库，所述日志监听器还将信号传输给单元格状态缓存器，所述单元格状态缓存器将信号传输给单元格状态回写器，所述单元格状态回写器将信号传输给无模式数据库。

所述关系数据库是关系数据库到无模式数据库异步转换系统的源。

所述无模式数据库是关系数据库到无模式数据库异步转换系统的目标。

所述日志监听器用于监听关系数据库的日志。基于行的关系数据库二进制日志包括模式更新与数据更新，所述模式更新记录着每次模式修改的SQL语句，所述数据更新记录着每次事务中以行为单位变化前后的数据。对于插入操作，监听得到的变化前数据为NULL，变化后数据为新增数据；对于更新操作，监听得到修改前后数据，对于删除操作，监听得到的变化前数据为被删除数据，变化后数据为NULL。

所述单元格状态缓存器负责将日志监听器监听到的基于行的变化数据拆分为单元格状态。

所述模式调整器负责将日志监听器监听到的模式变化映射到无模式数据库。映射规则如下：关系数据库中的一对一关系映射为无模式数据库中的关系结构，关系数据库中的一对多或多对一关系映射为无模式数据库中的树型结构，关系数据库中的多对多关系映射为无模式数据库的图型结构。关系数据库数据库名映射为无模式数据库名，关系数据库的表名映射为无模式数据库集合名（Collection），关系数据库的列索引映射为无模式数据库的列索引（Index）。

所述单元格状态回写器负责将单元格状态缓存器中的单元格状态键值序对写入到无模式数据库。

上述关系数据库到无模式数据库异步转换系统所采用的转换方法，具体工作步骤如下：