[发明专利]一种数据的校对方法、装置、介质及电子设备

说明书

本申请实施例公开了一种数据的校对方法、装置、介质及电子设备。所述方法包括：若检测到数据接入事件，按照表征字段提取规则提取数据的表征字段，并根据所述表征字段确定数据的接入标识信息；若检测到数据入库事件，基于所述表征字段提取规则确定数据的表征字段，并根据所述表征字段确定数据的入库标识信息；根据所述接入标识信息和所述入库标识信息，对数据条数和数据内容进行校对，得到数据的校对结果。本申请实施例通过根据所述接入标识信息和所述入库标识信息，对数据条数和数据内容进行校对。执行本方案，可以实现对数据入库的过程的准确监测。

技术领域

本申请实施例涉及互联网技术领域，尤其涉及一种数据的校对方法、装置、介质及电子设备。

背景技术

随着互联网技术的快速发展，海量数据的入库的过程中，对数据进行统计是非常困难的，一方面是海量数据的数据量统计过于巨大，另一方面数据内容本身可能存在改变的情况，即使统计过程数据条数能够对应上，但是数据内容可能在传输和处理过程中被破坏，从而无法对数据入库的过程进行准确监测。

发明内容

本申请实施例提供一种数据的校对方法、装置、介质及电子设备，可以在海量输入大数据中心的情况下，进行精准的校对，确保统计结果准确性和有效性的目的。

第一方面，本申请实施例提供了一种数据的校对方法，所述方法包括：

若检测到数据接入事件，按照表征字段提取规则提取数据的表征字段，并根据所述表征字段确定数据的接入标识信息；

若检测到数据入库事件，基于所述表征字段提取规则确定数据的表征字段，并根据所述表征字段确定数据的入库标识信息；

根据所述接入标识信息和所述入库标识信息，对数据条数和数据内容进行校对，得到数据的校对结果。

进一步的，表征字段提取规则是基于数据的关键字段确定的；其中，所述关键字段用于记录数据的差异性信息。

进一步的，根据所述表征字段确定数据的接入标识信息，包括：

对所述表征字段的内容，通过MD5加密算法，得到MD5值；

将所述MD5值作为数据的接入标识信息；

根据所述表征字段确定数据的入库标识信息，包括：

对所述表征字段的内容，通过MD5加密算法，得到MD5值；

将所述MD5值作为数据的入库标识信息。

进一步的，在将所述MD5值作为数据的接入标识信息之后，所述方法还包括：

在HDFS磁盘上创建存储目录；

在所述存储目录中生成接入标识信息记录文件，以对所述接入标识信息进行逐条记录；

在将所述MD5值作为数据的入库标识信息之后，所述方法还包括：

在HDFS磁盘上创建存储目录；

在所述存储目录中生成入库标识信息记录文件，以对所述入库标识信息进行逐条记录。

进一步的，根据所述接入标识信息和所述入库标识信息，对数据条数和数据内容进行校对，得到数据的校对结果，包括：

从所述接入标识信息记录文件中读取接入标识信息，从入库标识信息记录文件中读取入库标识信息；

对所述接入标识信息和所述入库标识信息的条数和内容进行校对；

根据校对结果生成校对报告。

进一步的，采用spark内存计算引擎进行读取和校对。