[发明专利]一种数据校验方法、装置和计算机可读介质

说明书

本发明提供了一种数据校验方法、装置和计算机可读介质，涉及数据处理的技术领域，包括：从源数据库中抽取目标数据，并在将目标数据写入目标数据库之后，确定目标数据库中的新增数据；计算目标数据和新增数据的特征值，分别得到第一特征值和第二特征值；若第一特征值和第二特征值相同，则确定目标数据和新增数据一致，本发明缓解了现有的数据校验方法校验速度慢，效率较低的技术问题。

技术领域

本发明涉及数据处理的技术领域，尤其是涉及一种数据校验方法、装置和计算机可读介质。

背景技术

在大数据项目中，通常第一步要进行的就是数据集成，即将待处理的数据从数据源抽取到数据中心。

现有技术中，数据抽取的做法是，首次抽取是将待处理数据从数据源中全部抽取到数据中心，而后期是每次只需要抽取一定时间内新增的数据，所以对于一次增量抽取，就需要在抽取完毕之后，需要找出数据同步时间段内(数据抽取时间段内)数据中心新增的数据；将数据抽取时间段内抽取的数据和已经写入到数据中心的数据进行校验，以校验是否一样。现有技术在数据校验的过程中，是将数据源中的数据全部取出，然后与数据中心用来存储本次数据抽取的表中的全部数据进行对比。但是现有的处理方式校验速度慢，因为需要进行全量数据的比对，其中就存在一些无用功，随时间推移，所做无用功比重会增多，且现有的处理方式不适合大数据量比对，在数据量很大的情况下，现有校验方法很慢。

发明内容

有鉴于此，本发明的目的在于提供一种数据校验方法、装置和计算机可读介质，以缓解了现有的数据校验方法校验速度慢，效率较低的技术问题。

第一方面，本发明实施例提供了一种数据校验方法，包括：从源数据库中抽取目标数据，并在将所述目标数据写入目标数据库之后，确定所述目标数据库中的新增数据；计算所述目标数据和所述新增数据的特征值，分别得到第一特征值和第二特征值；若所述第一特征值和所述第二特征值相同，则确定所述目标数据和所述新增数据一致。

进一步地，确定所述目标数据库中的新增数据包括：在第一存储单元中查找第一标识信息和第二标识信息，所述第一标识信息为将所述目标数据写入所述目标数据库的目标表之前向所述目标表写入的指定数据的标识信息，所述第二标识信息为将所述目标数据写入所述目标表之后向目标表写入的指定数据的标识信息；基于所述第一标识信息和所述第二标识信息在所述目标表中确定所述新增数据。

进一步地，所述第一标识信息为第一ID，所述第二标识信息为第二ID；基于所述第一标识信息和所述第二标识信息在所述目标表中确定所述新增数据包括：在所述目标表中读取大于第一ID，且小于第二ID的ID所对应的第一目标数据；将所述第一目标数据作为所述新增数据。

进一步地，所述第一标识信息为第三特征值，所述第二标识信息为第四特征值；基于所述第一标识信息和所述第二标识信息在所述目标表中确定所述新增数据包括：计算所述目标表中每条数据的特征值；确定所述特征值位于所述第三特征值和所述第四特征值之间的目标特征值；将所述目标特征值所对应的第二目标数据作为所述新增数据。

进一步地，所述方法还包括：获取所述源数据库中各个数据的ID和所述目标数据库中各个数据的ID；确定所述目标数据库中各个数据的ID中包含，且所述源数据库中各个数据的ID中不包含的目标ID；将所述目标数据库中所述目标ID所对应的数据删除。

进一步地，所述方法还包括：计算所述源数据库中各个数据的特征值，以及计算所述目标数据库中各个数据的特征值；确定所述目标数据库中各个数据的特征值中包含，且所述源数据库中各个数据的特征值中不包含的目标特征值；将所述目标数据库中所述目标特征值所对应的数据删除。

进一步地，所述从源数据库中抽取目标数据时，所述方法还包括：将所述目标数据对应的第一特征值存储在第二存储单元；所述确定所述目标数据库中的新增数据时，所述方法还包括：将所述新增数据对应的第二特征值存储在第三存储单元。