[发明专利]数据验证方法、装置、系统及存储介质

权利要求书

1.一种数据验证方法，其特征在于，包括：

分别对源数据和待验证数据进行初始化处理，得到源数据帧和待验证数据帧；

根据加载的模板规则，分别对所述源数据帧和所述待验证数据帧进行标签提取，得到所述源数据对应的标签数据和所述待验证数据的标签数据；

将所述源数据对应的标签数据与所述待验证数据的标签数据进行比对，得到数据验证结果。

2.根据权利要求1所述的方法，其特征在于，所述分别对源数据和待验证数据进行初始化处理，得到源数据帧和待验证数据帧，包括：

在安装有Spark2.0版本以上的应用环境下，通过构造的Spark Session执行对所述源数据和所述待验证数据的初始化处理，得到所述源数据帧和所述待验证数据帧。

3.根据权利要求1所述的方法，其特征在于，所述模板规则包括：源表的标签词表、待验证表的标签词表，以及源表的标签词表与待验证表的标签词表之间的映射关系；

其中，所述根据所述加载的模板规则，分别对所述源数据帧和所述待验证数据帧进行标签提取，包括：

根据所述源表的标签词表，从所述源数据帧中提取所述源数据对应的标签数据；

根据所述待验证表的标签词表，从所述待验证数据中提取所述待验证数据的标签数据；

其中，将所述源数据对应的标签数据与所述待验证数据的标签数据进行比对，得到数据验证结果，包括：

根据源表的标签词表与待验证表的标签词表之间的映射关系，将所述源数据对应的标签数据与所述待验证数据的标签数据进行比对，得到数据验证结果。

4.根据权利要求3所述的方法，其特征在于，根据所述源表的标签词表，从所述源数据帧中提取所述源数据对应的标签数据，包括：

根据所述源表的标签词表，从所述源数据帧中提取所有用户的标签数据；

根据用户标识、标签类别，对所有用户的标签进行分类和去重处理，得到所述源数据帧对应的标签数据。

5.根据权利要求3所述的方法，其特征在于，所述源数据对应的标签数据包括：同一用户对应的第一标签、以及各个第一标签对应的统计值；

所述待验证数据的标签数据包括：同一用户对应的第二标签、以及各个第二标签对应的统计值。

6.根据权利要求5所述的方法，其特征在于，将所述源数据对应的标签数据与所述待验证数据的标签数据进行比对，得到数据验证结果，包括：

根据源表的标签词表与待验证表的标签词表之间的映射关系，查找与所述第二标签对应的所述第一标签；

若未查找到与所述第二标签对应的所述第一标签，则确定数据验证失败，标记失败详情为第一类别；

若查找到与所述第二标签对应的所述第一标签，则比对所述第二标签对应的统计值是否与所述第一标签对应的统计值相同；

若所述第二标签对应的统计值与所述第一标签对应的统计值不相同，则确定数据验证失败，标记失败详情为第二类别；

若查找到与所述第二标签对应的所述第一标签，且所述第二标签对应的统计值与所述第一标签对应的统计值相同，则确定数据验证成功。

7.根据权利要求1-6中任一项所述的方法，其特征在于，还包括：

根据所述数据验证结果，生成日志文件；所述日志文件中包含有所有标记为失败详情的数据帧的记录数据；

将所述日志文件推送给测试人员的终端。

8.一种数据处理装置，其特征在于，包括：

初始化模块，用于分别对源数据和待验证数据进行初始化处理，得到源数据帧和待验证数据帧；

提取模块，用于根据加载的模板规则，分别对所述源数据帧和所述待验证数据帧进行标签提取，得到所述源数据对应的标签数据和所述待验证数据的标签数据；

比对模块，用于将所述源数据对应的标签数据与所述待验证数据的标签数据进行比对，得到数据验证结果。