[发明专利]数据对账方法及相关装置

权利要求书

1.一种数据对账方法，其特征在于，包括：

获取到目的端在设定时间段内从源端接收到的实际数据量；

在所述目的端，利用每条数据的对账编号获取到所述设定时间段内从源端接收到的理论数据量；其中，所述每条数据为已经从所述源端接收到的数据，所述对账编号包括所述数据在所述源端的分区的编号以及偏移量，每个所述分区内的偏移量连续递增，且所述对账编号是唯一标识每条数据的编号；

判断所述实际数据量与所述理论数据量是否相等；

如果所述实际数据量与所述理论数据量不相等，补充缺失的数据或删除重复的数据；其中，所述缺失的数据为所述分区中所述对账编号处于不连续的对账编号之间的数据；所述重复的数据为所述分区中所述对账编号重复的数据；

其中，所述利用每条数据的对账编号获取到所述设定时间段内从源端接收到的理论数据量，包括：

统计各个分区的起始对账编号以及结尾对账编号；

通过所述起始对账编号以及结尾对账编号确定每个所述分区的理论数据量；

将各个所述分区的理论数据量进行求和，并将求和结果确定为所述设定时间段内从源端接收到的理论数据量。

2.根据权利要求1所述的数据对账方法，其特征在于，所述通过所述起始对账编号以及结尾对账编号确定每个所述分区的理论数据量的步骤包括：

通过如下公式计算得到每个所述分区的理论数据量N_i：

N_i＝N_n-N₀+1；

其中，N_n为每个所述分区的结尾对账编号，N₀为每个所述分区的起始对账编号。

3.根据权利要求1或2所述的数据对账方法，其特征在于，所述如果所述实际数据量与所述理论数据量不相等，补充缺失的数据或删除重复的数据的步骤具体包括：

如果所述实际数据量大于所述理论数据量，删除重复的数据；如果所述实际数据量小于所述理论数据量，通过所述各个分区的起始对账编号以及结尾对账编号确定缺失的数据，并重新采集所述缺失的数据。

4.根据权利要求1所述的数据对账方法，其特征在于，所述获取到目的端在设定时间段内从源端接收到的实际数据量的步骤包括：

获取到从源端Kafka消息队列中传送的数据信息，并将所述数据信息存储到目的端数据库中。

5.根据权利要求1或4所述的数据对账方法，其特征在于，所述获取到目的端在设定时间段内从源端接收到的实际数据量的步骤之前，包括：

判断当前是否为首次数据对账；

如果当前为首次数据对账，将所述目的端将接收到第一条数据的时间作为所述设定时间段的起始时间，将接收到最后一条数据的时间确定为所述设定时间段的结束时间；

如果当前不为首次数据对账，将上一次对账的结束时间确定为所述设定时间段的起始时间，并将本次接收到最后一条数据的时间确定为所述设定时间段的结束时间。

6.根据权利要求1或4所述的数据对账方法，其特征在于，所述对账编号是通过将所述分区的编号以及所述偏移量分别转换为二进制并组成二进制对账编码后，将所述二进制对账编码转换为十进制后得到的，其中，所述偏移量的二进制码的字段位于所述分区的编号的二进制码后面。