[发明专利]一种数据对账方法、装置、电子设备及存储介质

说明书

本申请提供一种数据对账方法、装置、电子设备及存储介质，所述方法包括：分别获取各个同步节点对应的标记对账表；在对各个同步节点的标记对账表进行数据对齐后，从排列于对齐数据之后的对账数据进行逐条比对；根据比对结果确定所述各个同步节点中存在数据缺失的同步节点。通过本申请的技术方案可以解决相关技术中数据对账准确性低、效率低下的技术问题。

技术领域

本申请涉及网络技术领域，具体涉及一种数据对账方法、装置、电子设备及存储介质。

背景技术

随着信息技术的快速发展，大数据相关的应用呈现出爆炸式增长，使得数据信息的数据量急剧膨胀，为了突破集中式存储在处理海量数据的过程中在可靠性、安全性等方面的缺陷，分布式存储技术应运而生，即源数据库中的数据信息经由数据同步工具同步至同步节点中，以由接收到同步数据的同步节点对数据进行维护。

在数据实时同步的场景下，尤其在跨部门、跨层级甚至跨网段进行数据交换和同步的过程中，极易因网络不稳定、信息积压等异常情况，导致同步节点接收到的同步数据存在数据缺失或者数据重复等异常情况。

为了验证在源数据库和同步节点之间或者同步节点之间进行数据同步的可靠性、安全性，相关技术中往往由人工对源数据库中的数据信息和同步节点中的数据信息进行比对，但常规的人工对账方式不仅耗时较长，而且准确性低下，其已无法满足对数据量日益庞大的数据信息之间的对账需求。

发明内容

有鉴于此，本申请提供一种数据对账方法、装置、电子设备及存储介质，以解决相关技术中数据对账准确性低、效率低下的技术问题。

为实现上述目的，本申请提供技术方案如下：

根据本申请的第一方面，提出了一种数据对账方法，所述方法包括：

分别获取各个同步节点对应的标记对账表；其中，任一同步节点对应的标记对账表包括：数据同步工具在将对源数据库中的业务表的操作信息同步至所述任一同步节点的过程中，对所述业务表的同步数据进行抽取而得到的对账数据，且各条对账数据按照对应的同步数据的同步时刻依次排列；

在对各个同步节点的标记对账表进行数据对齐后，从排列于对齐数据之后的对账数据进行逐条比对；

根据比对结果确定所述各个同步节点中存在数据缺失的同步节点。

可选的，所述对所述业务表的同步数据进行抽取，包括：

将同步数据中的目标字段的取值对预设的精度数值进行取模运算；

抽取与预设的标记数值相等的运算结果对应的同步数据。

可选的，所述标记对账表中包括操作类型字段和标记距离字段，其中，所述操作类型字段对应的类型信息为对所述业务表执行的操作类型，所述标记距离字段对应的数值为所述标记距离字段的取值对应的同步数据与所述标记对账表中的上一个取值对应的同步数据在所述业务表中的间隔数值；

所述根据比对结果确定所述各个同步节点中存在数据缺失的同步节点，包括：

将存在类型信息缺失的同步节点确定为所述各个同步节点中存在数据缺失的同步节点；或者，

在操作类型字段对应的类型信息相同、标记距离字段对应的数值不完全相同的情况下，将标记距离字段对应的数值偏小的对账数据对应的同步节点确定为存在数据缺失的同步节点。

可选的，所述标记对账表中包括操作时刻，所述操作时刻为写入所述标记对账表中的与对所述同步数据进行操作的时间顺序有关的时刻；所述对各个同步节点的标记对账表进行数据对齐，包括：

在任一同步节点对应的标记对账表中，确定一个操作时刻位于预设时长内且操作类型字段对应的类型信息和标号字段对应的标识号的组合唯一的起始数据；