[发明专利]一种分布式非关系型数据库中同步增量数据的方法与设备

说明书

本申请的目的是提供一种用于分布式非关系型数据库中同步增量数据的方法与设备。具体地，根据用户配置信息确定分布式非关系型数据库中待增量同步的对应数据表，其中，所述用户配置信息包括所述数据表中待同步的增量数据的目标时间范围；根据所述目标时间范围及分片的位点信息对所述数据表在所述分布式非关系型数据库中对应的一个或多个分片进行同步处理。与现有技术相比，本申请根据用户指定了目标时间范围的配置信息确定分布式非关系型数据库中待增量同步的对应数据表，进而根据目标时间范围及分片的位点信息同步处理数据表对应的分片，从而在同步后即可关闭或周期性启动同步程序，避免程序一直开启，节约资源。

技术领域

本申请涉及计算机领域，尤其涉及一种用于分布式非关系型数据库中同步增量数据的技术。

背景技术

随着互联网的发展，在线业务量激增，在通过应用或平台系统处理业务的过程中涉及大量在线数据分析，需要从数据库中获取最新的数据，而全量数据的定期同步获取会浪费大量时间和资源，因此现有技术会在每次进行数据同步时，通过获取分布式非关系型数据库中独立读写的各个数据分片中与操作对应的日志记录的方式，例如获取分片中的commit log，将源系统中新产生的增量部分的数据同步到目的系统中。

然而，现有技术中往往运行一个常驻程序，不断地读取每个分片内已产生的增量数据并轮询是否有新的增量数据产生，然后提供给用户，同时会定期地查看是否有新的分片产生，因为没有实现基于时间范围同步的场景设置，因此同步程序必须不断执行，且因为分布式非关系型数据库中的独立读写的数据分片之间会因为时钟不同步或受到分片的合并与分裂等行为的影响导致所同步增量数据漏读或其中所对应的操作顺序错误。

发明内容

本申请的一个目的是提供一种用于分布式非关系型数据库中同步增量数据的方法与设备，用以解决分布式非关系型数据库同步增量数据时需要程序常驻运行而不支持根据时间范围导出增量数据的问题。

为实现上述目的，根据本申请的一个方面，本申请提供了一种用于分布式非关系型数据库中同步增量数据的方法，该方法解决了分布式非关系型数据库同步增量数据时需要程序常驻运行而不支持根据时间范围导出增量数据的问题，该方法包括：

根据用户配置信息确定分布式非关系型数据库中待增量同步的对应数据表，其中，所述用户配置信息包括所述数据表中待同步的增量数据的目标时间范围；

根据所述目标时间范围及分片的位点信息对所述数据表在所述分布式非关系型数据库中对应的一个或多个分片进行同步处理，以实现所述数据表的增量同步。

为实现上述目的，根据本申请的另一个方面，本申请提供了一种用于分布式非关系型数据库中同步增量数据的设备，该设备解决了分布式非关系型数据库同步增量数据时需要程序常驻运行而不支持根据时间范围导出增量数据的问题，该设备包括：

数据表确定装置，用于根据用户配置信息确定分布式非关系型数据库中待增量同步的对应数据表，其中，所述用户配置信息包括所述数据表中待同步的增量数据的目标时间范围；

同步装置，用于根据所述目标时间范围及分片的位点信息对所述数据表在所述分布式非关系型数据库中对应的一个或多个分片进行同步处理，以实现所述数据表的增量同步。

与现有技术相比，本申请根据用户配置信息确定分布式非关系型数据库中待增量同步的对应数据表，其中，所述用户配置信息包括所述数据表中待同步的增量数据的目标时间范围；根据所述目标时间范围及分片的位点信息对所述数据表在所述分布式非关系型数据库中对应的一个或多个分片进行同步处理，以实现所述数据表的增量同步，从而在将用户指定的目标时间范围内的增量数据同步后即可关闭或周期性启动同步程序，避免程序一直开启，节约资源，同步时间和周期可灵活调整。

进一步地，在增量数据的元数据中记录写入的时间相关信息以及在分片之间调度的顺序标记，从而确定增量数据对应操作的顺序，避免乱序导致数据分析出错。