[发明专利]一种数据质量检测方法和数据质量检测引擎

权利要求书

1.一种数据质量检测方法，其特征在于，包括：

获得目标模型的数据检测配置参数；所述数据检测配置参数用于确定对目标数据库表的检测项；所述目标数据库表为根据所述目标模型生成的；

获得所述目标数据库表；

根据所述数据检测配置参数对所述目标数据库表进行数据质量检测，得到对所述目标数据库表的数据质量检测结果。

2.根据权利要求1所述的方法，其特征在于，所述获得所述目标数据库表具体包括：

获得目标作业的作业名；所述目标作业与所述目标模型具有对应关系；所述作业名中包含所述目标数据库表的表名；

根据所述作业名确定所述目标数据库表的表名；

根据所述目标数据库表的表名获得所述目标数据库表。

3.根据权利要求1所述的方法，其特征在于，所述数据检测配置参数包括：第一配置参数、第二配置参数和第三配置参数；

所述第一配置参数用于指示是否对所述目标数据库表进行第一检测项的检测和是否对所述目标数据库表进行第二检测项的检测；

所述第一检测项包括：主键重复检测；所述第二检测项包括：主键空串检测；

所述第二配置参数包括所述目标数据库表的所有主键字段；

所述第三配置参数包括日期字段，且所述第三配置参数用于指示是否对所述目标数据库表进行第三检测项的检测；所述第三检测项包括：数据量波动检测。

4.根据权利要求3所述的方法，其特征在于，当所述第三配置参数指示对所述目标数据库表进行数据量波动检测时，所述数据检测配置参数还包括：所述第三检测项对应的检测阈值；

当所述目标数据库表的数据量波动超过所述检测阈值时，所述数据质量检测结果包括：所述目标数据库表的所述第三检测项检测不通过；

当所述目标数据库表的数据量波动未超过所述检测阈值时，所述数据质量检测结果包括：所述目标数据库表的所述第三检测项检测通过。

5.根据权利要求3所述的方法，其特征在于，所述第三检测项具体包括：对所述目标数据库表的当日和上日的数据进行数据量波动检测。

6.根据权利要求2所述的方法，其特征在于，所述根据所述目标数据库表的表名获得所述目标数据库表，包括：

向数据库发送第一获取请求，所述第一获取请求中携带所述目标数据库表的表名；

接收所述数据库提供的所述目标数据库表。

7.根据权利要求2所述的方法，其特征在于，所述获得目标模型的数据检测配置参数，包括：

从作业调度系统获得所述目标模型的数据检测配置参数；

所述获得目标作业的作业名，包括：

从所述作业调度系统获得所述目标作业的作业名。

8.根据权利要求1-6任一项所述的方法，其特征在于，还包括：

当确定所述目标数据库表的任意一项检测项不合格时，发出告警提示；或者，当确定所述目标数据库表的任意一项检测项不合格时，向作业调度系统反馈以使所述作业调度系统发出告警提示。

9.一种数据质量检测引擎，其特征在于，包括：

参数获取模块，用于获得目标模型的数据检测配置参数；所述数据检测配置参数用于确定对目标数据库表的检测项；所述目标数据库表为根据所述目标模型生成的；

数据库表获取模块，用于获得所述目标数据库表；

数据质量检测模块，用于根据所述数据检测配置参数对所述目标数据库表进行数据质量检测，得到对所述目标数据库表的数据质量检测结果。

10.根据权利要求9所述的数据质量检测引擎，其特征在于，所述数据检测配置参数包括：第一配置参数、第二配置参数和第三配置参数；

所述第一配置参数用于指示是否对所述目标数据库表进行第一检测项的检测和是否对所述目标数据库表进行第二检测项的检测；

所述第一检测项包括：主键重复检测；所述第二检测项包括：主键空串检测；

所述第二配置参数包括所述目标数据库表的所有主键字段；

所述第三配置参数包括日期字段，且所述第三配置参数用于指示是否对所述目标数据库表进行第三检测项的检测；所述第三检测项包括：数据量波动检测。