[发明专利]数据对账方法及相关装置

说明书

本申请公开了一种数据对账方法及相关装置。其中，数据对账方法包括：获取到目的端在设定时间段内从源端接收到的实际数据量；利用每条数据的对账编号获取到设定时间段内从源端接收到的理论数据量；其中，对账编号包括数据的分区的编号以及偏移量，每个分区内的偏移量连续递增；判断实际数据量与理论数据量是否相等；如果实际数据量与理论数据量不相等，补充缺失的数据或删除重复的数据。上述方案，能够减少数据对账时长、提高数据对账效率。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种数据对账方法及相关装置。

背景技术

随着信息技术的快速发展，人们在日常生活中进行网购、聊天都会产生出海量数据。为了突破集中式存储处理海量数据时在可靠性、安全性等方面的瓶颈，逐渐发展出了分布式存储技术，例如Kafka消息队列等等。

在数据实时同步的场景下，特别是在跨网数据传输过程中，当出现网络不稳定、服务器异常、消息积压等异常情况时，源端数据库和目的端数据库的数据可能会不一致，例如：目的端数据库数据缺失，或者目的端数据库数据重复。为了补充缺失数据、消除重复数据，有必要对源端数据库和目的端数据库进行数据对账。目前，数据对账需要针对业务表全表进行数据对账。然而，在面对海量数据时，采用全表数据对账存在对账耗时长、对账效率低的问题。有鉴于此，如何减少数据对账耗时、提高数据对账效率成为亟待解决的问题。

发明内容

本申请主要解决的技术问题是提供一种数据对账方法及相关装置，能够减少数据对账时长、提高数据对账效率。

为了解决上述问题，本申请第一方面提供了一种数据对账方法，包括：获取到目的端在设定时间段内从源端接收到的实际数据量；利用每条数据的对账编号获取到设定时间段内从源端接收到的理论数据量；其中，对账编号包括数据的分区的编号以及偏移量，每个分区内的偏移量连续递增；判断实际数据量与理论数据量是否相等；如果实际数据量与理论数据量不相等，补充缺失的数据或删除重复的数据。

为了解决上述问题，本申请第二方面提供了一种数据对账装置，包括实际数据量获取模块、理论数据量获取模块、判断模块以及响应模块；实际数据量获取模块用于获取到目的端在设定时间段内从源端接收到的实际数据量；理论数据量获取模块用于利用每条数据的对账编号获取到设定时间段内从源端接收到的理论数据量；其中，对账编号包括数据的分区的编号以及偏移量，每个分区内的偏移量连续递增；判断模块用于判断实际数据量与理论数据量是否相等；响应模块用于在实际数据量与理论数据量不相等时，补充缺失的数据或删除重复的数据。

为了解决上述问题，本申请第三方面提供了一种数据对账装置，包括相互耦接的存储器和处理器；处理器用于执行存储器存储的程序指令，以实现上述第一方面的方法。

为了解决上述问题，本申请第四方面提供了一种存储装置，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面的方法。

上述方案中，当存在设定时间内目的端从源端接收到的实际数据量，以及设定时间段内从源端接收到的理论数据量之间不相等的情况时，可以确定目的端存在数据重复或数据缺失，由于无需针对业务表全表进行数据对账，只需比较在设定时间段内的数据量，故此，可以节省数据对账时间，从而提升数据对账效率。

此外，当源端采用Kafka消息队列时，由于无法基于Kafka集群内部的磁盘数据进行结构化查询语言(Structured Query Language，SQL)运算而获取理论数据量，然而，本方案采用每条数据的对账编号获取设定时间段内从源端接收到的理论数据量，从而只需统计目的端接收到的数据，无需对源端进行SQL运算，进而可以大大提高对于各类数据库的兼容性。

附图说明

图1是本申请数据对账方法一实施例的流程示意图；

图2是Kafka消息队列的Topic存储格式示意图；

图3是图1中步骤S12一实施例的流程示意图；