[发明专利]一种数据的校对方法、装置、介质及电子设备

权利要求书

1.一种数据的校对方法，其特征在于，包括：

若检测到数据接入事件，按照表征字段提取规则提取数据的表征字段，并根据所述表征字段确定数据的接入标识信息；

若检测到数据入库事件，基于所述表征字段提取规则确定数据的表征字段，并根据所述表征字段确定数据的入库标识信息；

根据所述接入标识信息和所述入库标识信息，对数据条数和数据内容进行校对，得到数据的校对结果。

2.根据权利要求1所述的方法，其特征在于，所述表征字段提取规则是基于数据的关键字段确定的；其中，所述关键字段用于记录数据的差异性信息。

3.根据权利要求1所述的方法，其特征在于，

根据所述表征字段确定数据的接入标识信息，包括：

对所述表征字段的内容，通过MD5加密算法，得到MD5值；

将所述MD5值作为数据的接入标识信息；

根据所述表征字段确定数据的入库标识信息，包括：

对所述表征字段的内容，通过MD5加密算法，得到MD5值；

将所述MD5值作为数据的入库标识信息。

4.根据权利要求3所述的方法，其特征在于，

在将所述MD5值作为数据的接入标识信息之后，所述方法还包括：

在HDFS磁盘上创建存储目录；

在所述存储目录中生成接入标识信息记录文件，以对所述接入标识信息进行逐条记录；

在将所述MD5值作为数据的入库标识信息之后，所述方法还包括：

在HDFS磁盘上创建存储目录；

在所述存储目录中生成入库标识信息记录文件，以对所述入库标识信息进行逐条记录。

5.根据权利要求4所述的方法，其特征在于，根据所述接入标识信息和所述入库标识信息，对数据条数和数据内容进行校对，得到数据的校对结果，包括：

从所述接入标识信息记录文件中读取接入标识信息，从入库标识信息记录文件中读取入库标识信息；

对所述接入标识信息和所述入库标识信息的条数和内容进行校对；

根据校对结果生成校对报告。

6.根据权利要求5所述的方法，其特征在于，采用spark内存计算引擎进行读取和校对。

7.根据权利要求5所述的方法，其特征在于，根据校对结果生成校对报告，包括：

将校对失败的接入标识信息和所述入库标识信息导出至校对结果表中。

8.一种数据的校对装置，其特征在于，包括：

数据接入标识信息确定模块，用于若检测到数据接入事件，按照表征字段提取规则提取数据的表征字段，并根据所述表征字段确定数据的接入标识信息；

数据入库标识信息确定模块，用于若检测到数据入库事件，基于所述表征字段提取规则确定数据的表征字段，并根据所述表征字段确定数据的入库标识信息；

数据校对结果确定模块，用于根据所述接入标识信息和所述入库标识信息，对数据条数和数据内容进行校对，得到数据的校对结果。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的数据的校对方法。

10.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的数据的校对方法。