[发明专利]一种数据对比方法、装置、设备和介质

说明书

本申请提供了一种数据对比方法、装置、设备和介质，所述方法在建立数据库系统的基础上，增加了任务配发的阶段和对比阶段。在任务配发阶段中考虑了数据空闲时段和对比任务排序的问题，在对比阶段采用了双重数据摘要对比的方式，在保证对比效率和现有服务不中断的情况下，减小了对比的时间。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据对比方法、装置、设备和介质。

背景技术

随着技术的进步，目前各个行业的都在进行数字化和信息化的改造，各个设备的信息、各个类型的数据都在终端、服务器和数据库中存储和运转。同时，各个企业为了保证信息的安全性，通常会设置多个数据存储设备（数据库或服务器），有时是为了冗余存储，有时是为了方便与不同的外部设备进行交互，以实现数据隔离的效果。

由于各个数据库之间是相互独立的，有些时候需要将不同数据库中的数据进行对比，来确定数据的同步情况，传统技术中，通常会采用全盘比较的方式来进行对比，但这种方式的效率比较低。

发明内容

有鉴于此，本申请的目的在于提供一种数据对比方法、装置、设备和介质，用于解决现有技术中不同数据库进行数据对比时的对比效率较低的问题。

第一方面，本申请实施例提供了一种数据对比方法，作用于数据库系统，所述数据库系统包括多个数据收集数据库、监管数据库、加工数据库和多个业务对接数据库；多个数据收集数据库均分别与加工数据库保持通讯连接；多个业务对接数据库均分别与加工数据库保持通讯连接；监管数据库分别与多个数据收集数据库、监管数据库、加工数据库和多个业务对接数据库保持通讯连接；

所述多个数据收集数据库，用于分别从不同地区的业务服务器处获取，并存储前端基础数据；所述业务对接数据库，用于根据接收到的用户端所发出的用户请求，将与用户请求相对应的加工后的业务数据发送给用户端，并将所述发送的业务数据保存在本地；加工数据库，用于在接收到业务对接数据库所转发的用户请求后，根据所述用户请求和数据收集数据库所提供的前端基础数据生成与用户请求相对应的业务数据，并将生成的业务数据发送给业务对接数据库，并将生成和接收到的数据保存在本地；所述监管数据库，用于将加工数据库所生成的业务数据、数据收集数据库受获取到的基础数据和业务对接数据库所发送给用户端的业务数据进行保存和监管；

所述方法包括：任务配发阶段和对比阶段；

任务配发阶段包括：

监管数据库监测业务对接数据库中处于执行过程中的用户请求；

监管数据库根据所述用户请求和历史请求完成情况，确定每个数据集群的数据空闲时段和数据对比时长；

监管数据库根据数据空闲时段和数据对比时长，确定每个数据集群的对比顺序；

监管数据库根据对比顺序、每个收集数据库、加工数据库和业务对接数据库当前的空闲程度，确定每个数据库执行对比任务的任务量；

监管数据库根据每个数据库执行对比任务的任务量和每个数据集群的对比顺序，给每个数据库发送对比规则，以使每个数据库分别对每个数据集群的数据进行处理；

对比阶段包括：

目标数据库对保存在本地的数据中的目标数据集群计算数据摘要，并将所述数据摘要和目标数据集群的数据集群标识传输给监管数据库；目标数据库是多个数据收集数据库、加工数据库和多个业务对接数据库中接收到对比规则的一个数据库；

监管数据库比较相同数据集群标识的数据集群的数据摘要是否相同；若相同，则确定比较成功；若不相同，则通知对应的目标数据库将该数据集群进行分割，并重新计算分割后的每个第一数据组的数据摘要和数据组标识，并在获取到第一数据组的数据摘要和数据组标识后，根据第一数据组的数据组标识和数据摘要进行数据对比。