[发明专利]数据库的数据处理方法、存储介质与设备

说明书

本发明提供了一种数据库的数据处理方法、存储介质与设备，该数据处理方法包括对事务进行解析，得到解析结果；根据所述解析结果筛选得到待处理事务；根据所述待处理事务中的语句判断所述待处理事务是否为目标事务；对所述目标事务的预设位置增加预设处理标记，并进行打包；发送打包后的所述目标事务至目标端。本发明的数据库数据处理方法预先标记事务属性，使得在源端解析的过程中提前识别出包含预设处理标记的事务，标记在事务属性上，当此类事务传输到目标端时，目标端就可以根据该属性，选择比较快的入库方式，加快数据处理效率。

技术领域

本发明涉及数据库领域，特别是涉及一种数据库的处理方法、存储介质与设备。

背景技术

在利用数据同步软件进行数据实时同步时分为三个阶段，第一阶段进行存量数据的初始化装载，获得数据同步的基础点；第二阶段以初始化数据装载建立的同步基础点为基准进行增量数据同步；第三阶段定期对数据同步的源端数据和目标数据进行比对校验，以确认在数据同步过程中没有丢失数据。其中第二阶段和第三阶段会处于长时间并行状态。

在第二阶段进行增量数据同步时，通过分析数据库日志(REDO LOG)获取增量数据，从而实现数据实时同步是一种常用的实时数据复制技术。这种技术通过解析源数据库的在线日志(ONLINE LOG)或者归档日志(ARCHIVE LOG)，获得数据的增删改变化，再将这些变化以事务为单位转换为同步软件内部特定的消息格式，通过数据同步软件的私有传输协议发送到目标端数据同步软件，最后目标端同步软件将获取到的事务日志恢复成目标数据库支持的SQL语句并在目标端数据库上执行，来实现数据的实时同步，进而保持源端和目标数据库的数据一致性。

对于某些分析型数据库系统，通常出现类似INSERT INTO SELECT或者CREATETABLE AS的操作，此类操作的特点是会短时间内产生超大事务，并且全部为新增数据。

数据同步软件是一种通用性的软件，需要同时处理INSERT、UPDATE、DELETE以及DDL操作，其在目标端入库时，由于无法预知下一条语句的属性(INSERT、UPDATE、DELETE)，往往会一条一条语句的处理；如果遇到类似INSERT INTO SELECT或者CREATE TABLE AS等操作产生的超大事务，即便是这些操作会被解析到一个事务当中，也会被当作一条一条的、独立的INSERT操作来处理。

对于千万级别的表，使用INSERT INTO SELECT的方式复制，在源端可能仅需要几分钟时间，到了目标端入库可能就需要花费几个小时。

发明内容

本发明的一个目的是要提供一种能够解决上述任一问题的数据库的数据处理方法、存储介质与设备。

本发明一个进一步的目的是要提升数据处理效率。

特别地，本发明提供了一种数据库的数据处理方法，该数据处理方法包括：

对事务进行解析，得到解析结果；

根据解析结果筛选得到待处理事务；

根据待处理事务中的语句判断待处理事务是否为目标事务；

对目标事务的预设位置增加预设处理标记，并进行打包；

发送打包后的目标事务至目标端。

进一步地，根据解析结果筛选得到待处理事务的步骤包括：

判断解析结果内是否包含用于提交的设定标记；

若是，则确定事务为待处理事务。

进一步地，待处理事务中包括多个语句，根据待处理事务中的语句判断待处理事务是否为目标事务的步骤包括：

对待处理事务增加正确标记；

由头至尾依次确定待处理事务内语句的语句类型；并