[发明专利]一种数据加工类型测试系统、方法、存储介质及设备

说明书

本申请涉及一种数据加工类型测试系统，所述系统包括：通过数据造数模块接收关联平台所输入的测试数据，并根据所述测试数据中所携带数据的类型进行数据造数，得到造数数据；建立批次运行模块与所述数据造数模块的连接，并根据批次运行信息对所述造数数据进行批次加工，得到加工数据；数据探查模块调用查询脚本对所述测试数据所对应的造数数据进行探查，得到源数据；数通过据核对模块将获取所述加工数据，并将所述加工数据与所述源数据进行比对。相比现有技术，本发明能够适用于大数据类非关系型数据库的数据分析，及海量型数据处理，有效地解决了大数据测试数据难的问题，满足了实际应用需求。

技术领域

本申请涉及数据自动化测试技术领域，特别是涉及一种数据加工类型测试系统、方法、存储介质及终端设备。

背景技术

随着大数据技术蓬勃发展，企业通过数据分析获取有价值的信息的需求与日俱增，开发的数据分析程序多，涉分析数据库组件、源数据场景和类型杂，测试的工作量也是越来越大。现有的自动化测试工具是基于关系型数据库和明确的业务场景处理，而实现的自动化开发。因此，只支持固定数据输入、明确的结果数据输出检核的功能，无法满足非固定的数据输入、不确定的结果输出数据的核对。

发明内容

基于此，有必要针对上述技术问题，提供一种能够适用于大数据类非关系型数据库的数据分析，及海量型数据处理的数据加工类型测试系统、方法、存储介质及终端设备。

本发明实施例提供了一种数据加工类型测试系统，所述系统包括：

数据造数模块，用于接收关联平台所输入的测试数据，并根据所述测试数据中所携带数据的类型进行数据造数，得到造数数据；

批次运行模块，用于建立与所述数据造数模块的连接，并根据批次运行信息对所述造数数据进行批次加工，得到加工数据；

数据探查模块，用于通过查询脚本对所述测试数据所对应的造数数据进行探查，得到源数据；

数据核对模块，用于将获取所述加工数据，并将所述加工数据与所述源数据进行比对。

进一步地，所述造数数据包括表格造数数据、以及非表格造数数据；其中，所述表格造数数据包括Hive数据库、Kafka数据库、dat数据库、关系型数据库、以及非关系型数据库的造数数据，所述非表格造数数据包括Hbase数据库、ES数据库、以及Redis数据库的造数数据。

进一步地，数据造数模块，具体包括：

表格型造数单元，用于配置需要造数的表结构，建立表与表、表与加工批次之间的关联，同时生成符合hadoop集群租户权限的数据；

非表格型造数单元，用于配置数据生成格式、以及字段数据生成规则，并建立数据生成格式与造数规则的关系。

进一步地，建立表与表之间的关联，具体包括：

对每张表的字段规则进行配置；其中，进行配置的字段规则包括主键、唯一键、以及数据生成规则，所述数据生成规则包括生成NULL值、随机地址、随机金额、自增日期、自增小数、自增整数、借记卡或贷记卡号、常量、随机日期、随机邮箱、枚举值、随机身份证号、随机手机号、随机名字、随机小数、随机整数、随机字符串、以及复合规则；

维护表与表之间的关联，在表的字段规则配置页面，对需要与其他表进行关联的字段配置关联规则，从而建立两个表之间通过该字段的关联关系；所述关联关系包括表内关联、表间关联、以及多表间关联，且表间关联规则包括通过字段直接关联、枚举关联、字段截取关联、算术运算关联、以及日期关联；

维护造数要求，选择刚维护的需求，进入查看表中，录入造数模式、造数数量、存储位置、以及数据日期。

进一步地，配置数据生成格式、以及字段数据生成规则，并建立数据生成格式与造数规则的关系，具体包括：