[发明专利]数据验证方法、装置、系统及存储介质

说明书

本申请提供一种数据验证方法、装置、系统及存储介质，该方法，包括：分别对源数据和待验证数据进行初始化处理，得到源数据帧和待验证数据帧；根据加载的模板规则，分别对所述源数据帧和所述待验证数据帧进行标签提取，得到所述源数据对应的标签数据和所述待验证数据的标签数据；将所述源数据对应的标签数据与所述待验证数据的标签数据进行比对，得到数据验证结果。本申请适用于复杂数据结构的验证处理，可以有效提高数据的验证效率，可扩展性强。

技术领域

本申请涉及大数据技术领域，尤其涉及一种数据验证方法、装置、系统及存储介质。

背景技术

随着大数据处理技术的不断发展，越来越多的场景中都涉及到对海量数据的处理。而为了保证数据的准确性，需要对大数据处理的结果进行验证。

目前，常规做法是使用大数据计算结果比对工具生成Hive SQL用例，通过MapReduce计算引擎来查询计算结果，并通过左连接的方式比对计算结果进行两两比对。

但是，上述验证方式效率较低，且无法适用于复杂数据结构的验证。

发明内容

本申请提供一种数据验证方法、装置、系统及存储介质，可以适用于复杂数据结构的验证处理，可以有效提高数据的验证效率，可扩展性强。

第一方面，本申请实施例提供一种数据验证方法，包括：

分别对源数据和待验证数据进行初始化处理，得到源数据帧和待验证数据帧；

根据加载的模板规则，分别对所述源数据帧和所述待验证数据帧进行标签提取，得到所述源数据对应的标签数据和所述待验证数据的标签数据；

将所述源数据对应的标签数据与所述待验证数据的标签数据进行比对，得到数据验证结果。

在一种可能的设计中，所述分别对源数据和待验证数据进行初始化处理，得到源数据帧和待验证数据帧，包括：

在安装有Spark2.0版本以上的应用环境下，通过构造的Spark Session执行对所述源数据和所述待验证数据的初始化处理，得到所述源数据帧和所述待验证数据帧。

在一种可能的设计中，所述模板规则包括：源表的标签词表、待验证表的标签词表，以及源表的标签词表与待验证表的标签词表之间的映射关系；

其中，所述根据所述加载的模板规则，分别对所述源数据帧和所述待验证数据帧进行标签提取，包括：

根据所述源表的标签词表，从所述源数据帧中提取所述源数据对应的标签数据；

根据所述待验证表的标签词表，从所述待验证数据中提取所述待验证数据的标签数据；

其中，将所述源数据对应的标签数据与所述待验证数据的标签数据进行比对，得到数据验证结果，包括：

根据源表的标签词表与待验证表的标签词表之间的映射关系，将所述源数据对应的标签数据与所述待验证数据的标签数据进行比对，得到数据验证结果。

在一种可能的设计中，根据所述源表的标签词表，从所述源数据帧中提取所述源数据对应的标签数据，包括：

根据所述源表的标签词表，从所述源数据帧中提取所有用户的标签数据；

根据用户标识、标签类别，对所有用户的标签进行分类和去重处理，得到所述源数据帧对应的标签数据。

在一种可能的设计中，所述源数据对应的标签数据包括：同一用户对应的第一标签、以及各个第一标签对应的统计值；

所述待验证数据的标签数据包括：同一用户对应的第二标签、以及各个第二标签对应的统计值。