[发明专利]一种分布式非关系型数据库中同步增量数据的方法与设备

权利要求书

1.一种用于分布式非关系型数据库中同步增量数据的方法，包括：

根据用户配置信息确定分布式非关系型数据库中待增量同步的对应数据表，其中，所述用户配置信息包括所述数据表中待同步的增量数据的目标时间范围；若分片的增量数据的写入时间小于目标时间范围的开始时间，更新所述分片的同步处理信息；若所述分片的增量数据的写入时间小于所述目标时间范围的结束时间，导出所述增量数据；否则，结束所述分片的同步处理过程；

确定所述数据表在所述分布式非关系型数据库中对应的一个或多个分片及每个分片的位点信息；

根据所述目标时间范围及分片的位点信息对所述数据表在所述分布式非关系型数据库中对应的一个或多个分片进行同步处理，以实现所述数据表的增量同步。

2.根据权利要求1所述的方法，

其中，所述根据所述目标时间范围及分片的位点信息对所述数据表在所述分布式非关系型数据库中对应的一个或多个分片进行同步处理包括：

根据所述目标时间范围及所述位点信息对所述分片进行同步处理，以实现所述数据表的增量同步。

3.根据权利要求2所述的方法，其中，所述确定所述数据表在所述分布式非关系型数据库中对应的一个或多个分片及每个分片的位点信息包括：

从对应系统状态表中读取所述数据表在所述分布式非关系型数据库中对应的每个分片的位点信息，其中，所述系统状态表包括系统所有分片在相同时刻的位点信息。

4.根据权利要求1所述的方法，其中，所述方法还包括：

将所述数据表的增量数据导出至对应临时表以供后续处理，其中，若导出过程出错，清空所述临时表并重新导出所述数据表的增量数据。

5.根据权利要求1所述的方法，其中，所述根据所述目标时间范围及分片的位点信息对所述数据表在所述分布式非关系型数据库中对应的一个或多个分片进行同步处理包括：

根据所述目标时间范围及所述位点信息对所述一个或多个分片进行同步处理；

检测所述一个或多个分片是否都已同步处理完成；若是，结束同步处理，否则，等待后重新检测。

6.根据权利要求5所述的方法，其中，所述检测所述一个或多个分片是否都已同步处理完成包括：

对被同步处理的所述分片进行预处理；

检测预处理后的所述一个或多个分片是否都已同步处理完成；若是，结束同步处理，否则，等待后重新检测。

7.根据权利要求6所述的方法，其中，所述预处理包括以下至少任一项：

若同步处理后的所述分片存在处理超时，跳转至异常结束；

对所述一个或多个分片中已同步处理完成的父分片，设置该父分片的各子分片为同步处理完成。

8.根据权利要求5所述的方法，其中，所述根据所述目标时间范围及所述位点信息对所述一个或多个分片进行同步处理包括：

判断当前处理的所述分片是否有父分片未同步处理完成，若有，则等待父分片同步处理完成；否则，根据所述位点信息读取所述分片的增量数据；

导出在所述目标时间范围内的数据分片的增量数据。

9.根据权利要求8所述的方法，其中，所述增量数据的元信息包括所述增量数据的写入时间及顺序标识信息，所述写入时间及所述顺序标识信息用于确定所述增量数据对应操作的顺序。