[发明专利]一种检测数据质量的方法以及检测数据质量的装置

权利要求书

1.一种检测数据质量的方法，其特征在于，所述检测数据质量的方法包括：

获取待检测数据以及所述待检测数据的数据类型和/或属性；

依据所述待检测数据的数据类型和/或属性，配置规则匹配组合，其中，所述规则匹配组合包括至少一个检测规则；

依据所述规则匹配组合对所述待检测数据进行质量检测，以筛选出正常数据以及问题数据；

将所述正常数据以及所述问题数据传送至目的端，并依据所述问题数据输出质量检测报告。

2.根据权利要求1所述的检测数据质量的方法，其特征在于，所述依据所述规则匹配组合对所述待检测数据进行质量检测，以筛选出正常数据以及问题数据包括：

解析所述待检测数据，以获取多个目标检测字段；

依据所述规则匹配组合，依次判断确定所述多个目标检测字段是否满足所述规则匹配组合；

若所述目标检测字段满足所述规则匹配组合中的全部检测规则，则标记所述目标检测字段为正常数据；

若所述目标检测字段违反所述规则匹配组合中的任一检测规则，则标记所述目标检测字段为问题数据。

3.根据权利要求1所述的检测数据质量的方法，其特征在于，所述依据所述规则匹配组合对所述待检测数据进行质量检测，以筛选出正常数据以及问题数据还包括：

依据所述规则匹配组合对所述待检测数据进行质量检测，以筛选出正常数据以及问题数据；

按照预设的输出类型，输出对应的所述正常数据以及问题数据，以便依据所述输出类型分析统计所述问题数据。

4.根据权利要求3所述的检测数据质量的方法，其特征在于，所述预设的输出类型包括输出违反指定检测规则的数据、输出满足规则匹配组合的数据、输出违反至少一个检测规则的数据、输出违反全部检测规则的数据或输出携带有检测标记的全部数据中的一种或多种。

5.根据权利要求1所述的检测数据质量的方法，其特征在于，所述问题数据中携带有标签信息，所述标签信息包括批次标识、问题数据总量以及问题数据所违反的检测规则；

所述将所述正常数据以及所述问题数据传送至目的端，并依据所述问题数据输出质量检测报告包括：

将所述正常数据以及所述问题数据传送至目的端；

解析所述问题数据，获取问题数据的批次标识、问题数据总量以及问题数据所违反的检测规则，以输出质量检测报告。

6.根据权利要求1所述的检测数据质量的方法，其特征在于，所述获取待检测数据以及所述待检测数据的数据类型和/或属性包括：

获取待检测数据，并对所述待检测数据进行解析，得到所述待检测数据的关键字段。

7.根据权利要求6所述的检测数据质量的方法，其特征在于，所述依据所述待检测数据的数据类型和/或属性，配置规则匹配组合，其中，所述规则匹配组合包括至少一个检测规则包括：

依据所述待检测数据的关键字段，配置与所述关键字段相关联的至少一个检测规则，整合所述至少一个检测规则得到规则匹配组合。

8.根据权利要求6或7所述的检测数据质量的方法，其特征在于，所述关键字段包括身份证号、日期时间、邮件名称或邮政编码中的一种或多种。

9.根据权利要求1～7任一项所述的检测数据质量的方法，其特征在于，所述规则匹配组合包括用于检测字段内容是否符合规则的检测规则、用于检测字段内容长度是否符合规则的检测规则、用于检测邮政编码的格式是否符合规则、用于检测日期时间是否符合规则的检测规则或用于检测身份证号是否符合规则的检测规则中的一项或者多项。

10.一种检测数据质量的装置，其特征在于，包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被程序设置为执行如权利要求1～9任一项所述的检测数据质量的方法。