[发明专利]增量数据的同步方法、装置、系统及电子设备

权利要求书

1.一种增量数据的同步方法，其特征在于，包括：

对源数据表的增量数据进行预处理，获取有效增量数据，所述有效增量数据由所述源数据表中同一行数据的最新行操作所产生；

对所述有效增量数据进行同步处理。

2.根据权利要求1所述的增量数据的同步方法，其特征在于，所述对源数据表的增量数据进行预处理，获取有效增量数据，包括：

向所述增量数据中添加操作标识，所述操作标识与所述源数据表的行操作唯一对应、且按所述行操作的时间先后顺序逐渐增大；

对于所述源数据表中同一行数据的增量数据，按照所述操作标识降序的顺序进行排序，并将排序后的序号更新为所述增量数据的预处理标记；

针对所述源数据表中同一行数据的增量数据，将所述预处理标记最小的增量数据确定为该行数据的有效增量数据。

3.根据权利要求1所述的增量数据的同步方法，其特征在于，所述对源数据表的增量数据进行预处理，获取有效增量数据，包括：

向所述增量数据中添加操作标识，所述操作标识与所述源数据表的行操作唯一对应、且按所述行操作的时间先后顺序逐渐增大；

对于所述源数据表中同一行数据的增量数据，按照所述操作标识升序的顺序进行排序，并将排序后的序号更新为所述增量数据的预处理标记；

针对所述源数据表中同一行数据的增量数据，将所述预处理标记最大的增量数据确定为该行数据的有效增量数据。

4.根据权利要求1所述的增量数据的同步方法，其特征在于，所述对所述有效增量数据进行同步处理，包括：

删除目的数据表中与所述有效增量数据相对应的行数据；

将所述有效增量数据写入所述目的数据表。

5.根据权利要求4所述的增量数据的同步方法，其特征在于，

所述删除目的数据表中与所述有效增量数据相对应的行数据，具体为：

批量删除目的数据表中与所述有效增量数据相对应的行数据；

所述将所述有效增量数据写入所述目的数据表，具体为：

将所述有效增量数据批量写入所述目的数据表。

6.根据权利要求5所述的增量数据的同步方法，其特征在于，所述批量删除目的数据表中与所述有效增量数据相对应的行数据，包括：

创建临时数据表；

将所述有效增量数据中的索引值批量写入所述临时数据表中；

在所述目的数据表中，批量删除与所述临时数据表中的索引值相同的行数据。

7.根据权利要求1至6中任一权利要求所述的增量数据的同步方法，其特征在于，在所述对源数据表的增量数据进行预处理之前，还包括：

获取增量日志，从所述增量日志中解析出所述源数据表的增量数据。

8.一种增量数据的同步装置，其特征在于，包括：

预处理模块，用于对源数据表的增量数据进行预处理，获取有效增量数据，所述有效增量数据由所述源数据表中同一行数据的最新行操作所产生；

同步模块，用于对所述有效增量数据进行同步处理。

9.根据权利要求8所述的增量数据的同步装置，其特征在于，所述预处理模块还用于，向所述增量数据中添加操作标识，所述操作标识与所述源数据表的行操作唯一对应、且按所述行操作的时间先后顺序逐渐增大；对于所述源数据表中同一行数据的增量数据，按照所述操作标识降序的顺序进行排序，并将排序后的序号更新为所述增量数据的预处理标记；针对所述源数据表中同一行数据的增量数据，将所述预处理标记最小的增量数据确定为该行数据的有效增量数据。