[发明专利]一种数据加工类型测试系统、方法、存储介质及设备

权利要求书

1.一种数据加工类型测试系统，其特征在于，所述系统包括：

数据造数模块，用于接收关联平台所输入的测试数据，并根据所述测试数据中所携带数据的类型进行数据造数，得到造数数据；

批次运行模块，用于建立与所述数据造数模块的连接，并根据批次运行信息对所述造数数据进行批次加工，得到加工数据；

数据探查模块，用于通过查询脚本对所述测试数据所对应的造数数据进行探查，得到源数据；

数据核对模块，用于将获取所述加工数据，并将所述加工数据与所述源数据进行比对。

2.根据权利要求1所述的数据加工类型测试系统，其特征在于，所述造数数据包括表格造数数据、以及非表格造数数据；其中，所述表格造数数据包括Hive数据库、Kafka数据库、dat数据库、关系型数据库、以及非关系型数据库的造数数据，所述非表格造数数据包括Hbase数据库、ES数据库、以及Redis数据库的造数数据。

3.根据权利要求2所述的数据加工类型测试系统，其特征在于，数据造数模块，具体包括：

表格型造数单元，用于配置需要造数的表结构，建立表与表、表与加工批次之间的关联，同时生成符合hadoop集群租户权限的数据；

非表格型造数单元，用于配置数据生成格式、以及字段数据生成规则，并建立数据生成格式与造数规则的关系。

4.根据权利要求3所述的数据加工类型测试系统，其特征在于，建立表与表之间的关联，具体包括：

对每张表的字段规则进行配置；其中，进行配置的字段规则包括主键、唯一键、以及数据生成规则，所述数据生成规则包括生成NULL值、随机地址、随机金额、自增日期、自增小数、自增整数、借记卡或贷记卡号、常量、随机日期、随机邮箱、枚举值、随机身份证号、随机手机号、随机名字、随机小数、随机整数、随机字符串、以及复合规则；

维护表与表之间的关联，在表的字段规则配置页面，对需要与其他表进行关联的字段配置关联规则，从而建立两个表之间通过该字段的关联关系；所述关联关系包括表内关联、表间关联、以及多表间关联，且表间关联规则包括通过字段直接关联、枚举关联、字段截取关联、算术运算关联、以及日期关联；

维护造数要求，选择刚维护的需求，进入查看表中，录入造数模式、造数数量、存储位置、以及数据日期。

5.根据权利要求3所述的数据加工类型测试系统，其特征在于，配置数据生成格式、以及字段数据生成规则，并建立数据生成格式与造数规则的关系，具体包括：

维护样例报文，对所述维护样例报文进行解析，并将解析样例报文的格式作为模拟数据生成的结构，完成数据生成格式的配置；

根据造数类型配置主键或者字段的生成规则；

选择造数的目标存储组件，并根据所目标存储组件的要求配置相应的样例报文信息与造数规则的关系。

6.根据权利要求4所述的数据加工类型测试系统，其特征在于，所述Hive数据库所对应的表结构包括库表名、字段分区、租户名称、Hdfs路径和文件类型，所述表结构新增字段的字段信息包括字段名、字段类型、长度、序号、以及主键。

7.根据权利要求1所述的数据加工类型测试系统，其特征在于，所述批次运行信息包括批次执行顺序、执行日期、执行频率、以及执行信息；其中，所述执行信息包括执行序号、独立批次、执行环境、启动时间、批次日期、以及执行频率。

8.一种数据加工类型测试方法，其特征在于，所述方法包括以下步骤：

接收关联平台所输入的测试数据，并根据所述测试数据中所携带数据的类型进行数据造数，得到造数数据；

建立与所述造数数据与批次运行信息的关联关系，并根据批次运行信息对所述造数数据进行批次加工，得到加工数据；

通过查询脚本对所述测试数据所对应的造数数据进行探查，得到源数据；

将获取所述加工数据，并将所述加工数据与所述源数据进行比对。