[发明专利]增量数据的同步方法、装置、系统及电子设备

说明书

本发明实施例提供了一种增量数据的同步方法、装置、系统及电子设备。该方法包括：对源数据表的增量数据进行预处理，获取有效增量数据，所述有效增量数据由所述源数据表中同一行数据的最新行操作所产生；对所述有效增量数据进行同步处理。本发明实施例通过获取源数据表中同一行数据的最新操作所产生的有效增量数据，仅对有效增量数据进行同步，大大缩减了待同步的数据量，提高了同步效率。

技术领域

本发明涉及通信技术领域，尤其涉及一种增量数据的同步方法、装置、系统及电子设备。

背景技术

数据库的数据同步是一直存在的普遍需求。其典型应用场景如，将交易数据库中的部分表同步到分析型数据库中，用于产生报表；或者，将业务A所在数据库中的部分表同步到业务B所在数据库中，用做支撑业务B。

目前，一种主流的数据同步方法，是通过解析增量日志获取增量数据，然后把增量数据同步到目的数据库。该同步方式，首先通过解析增量日志，还原源数据表的插入(insert)、修改(update)、删除(delete)操作，以获取增量数据，然后通过对目的数据库中的表执行相同的操作，从而将增量数据同步到目的数据库。

发明人在实现本发明的过程中，发现现有技术至少存在如下问题：上述解析增量日志的数据同步方式，需要将源数据表中执行过的所有操作在目的数据库中再逐行执行一遍，当增量数据量非常大时，同步效率很低。

发明内容

本发明实施例提供一种增量数据的同步方法、装置、系统及电子设备，以解决现有技术中当增量数据量大时，同步效率低的缺陷，提高增量数据的同步效率。

为达到上述目的，本发明实施例提供了一种增量数据的同步方法，包括：对源数据表的增量数据进行预处理，获取有效增量数据，所述有效增量数据由所述源数据表中同一行数据的最新行操作所产生；对所述有效增量数据进行同步处理。

本发明实施例还提供了一种增量数据的同步装置，包括：预处理模块，用于对源数据表的增量数据进行预处理，获取有效增量数据，所述有效增量数据由所述源数据表中同一行数据的最新行操作所产生；同步模块，用于对所述有效增量数据进行同步处理。

本发明实施例还提供了一种增量数据的同步系统，包括：源数据库、目的数据库和客户端，所述客户端用于，从所述源数据库中获取源数据表的增量数据，对源数据表的增量数据进行预处理，获取有效增量数据，所述有效增量数据由所述源数据表中同一行数据的最新行操作所产生，将所述有效增量数据同步到所述目的数据库的目的数据表中。

本发明实施例还提供一种电子设备，包括：存储器，用于存储程序；处理器，用于运行所述存储器中存储的所述程序，以用于：对源数据表的增量数据进行预处理，获取有效增量数据，所述有效增量数据由所述源数据表中同一行数据的最新行操作所产生；对所述有效增量数据进行同步处理。

本发明实施例提供的增量数据的同步方法、装置、系统及电子设备，通过获取源数据表中同一行数据的最新操作所产生的有效增量数据，仅对有效增量数据进行同步，大大缩减了待同步的数据量，提高了同步效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明提供的增量数据的同步系统实施例的系统框图；

图2为本发明提供的增量数据的同步方法一个实施例的流程图；