[发明专利]一种数据质量检测方法和数据质量检测引擎

说明书

本申请公开了一种数据质量检测方法和数据质量检测引擎。方法包括；获得目标模型的数据检测配置参数；数据检测配置参数用于确定对目标数据库表的检测项；获得目标数据库表；目标数据库表为根据目标模型生成的；根据数据检测配置参数对目标数据库表进行数据质量检测，得到对目标数据库表的数据质量检测结果。本申请可面向多样化的数据质量要求建立多样化的数据质量检测方案。基于数据检测配置参数可以确定出要对目标数据库表执行的检测项，实现适应于系统业务场景需求的数据质量检测方案。相比于现有的数据质量检测方案，本申请提供的技术方案检测更加灵活，检测方案可满足多样化的数据质量要求。

技术领域

本申请涉及数据检测技术领域，特别是涉及一种数据质量检测方法和数据质量检测引擎。

背景技术

商业银行中某个业务领域内的数据集市，承担着行内各种不同的数据支持任务。既有为考核指标类系统提供数据，同时也为分析挖掘类系统提供数据。不同的系统对数据的要求特点不同。例如：指标类系统要求数据质量高，数据准确，字段内容完整；分析挖掘类系统要求数据量大，记录数全，对精度要求不高。现有的数据质量检测方案多为以固定标准的对数据质量进行检测，检测方案对于各个数据系统是通用的。现有的数据质量检测方案未考虑到数据集市不同系统对数据质量的多样化要求，因此检测灵活性不足，无法适应性地满足多样化的数据质量要求。

发明内容

基于上述问题，本申请提供了一种数据质量检测方法和数据质量检测引擎，以提升数据质量检测的灵活性，检测适应性地满足多样化的数据质量要求。

本申请实施例公开了如下技术方案：

第一方面，本申请提供一种数据质量检测方法，包括：

获得目标模型的数据检测配置参数；所述数据检测配置参数用于确定对目标数据库表的检测项；所述目标数据库表为根据所述目标模型生成的；

获得所述目标数据库表；

根据所述数据检测配置参数对所述目标数据库表进行数据质量检测，得到对所述目标数据库表的数据质量检测结果。

可选地，所述获得所述目标数据库表具体包括：

获得目标作业的作业名；所述目标作业与所述目标模型具有对应关系；所述作业名中包含所述目标数据库表的表名；

根据所述作业名确定所述目标数据库表的表名；

根据所述目标数据库表的表名获得所述目标数据库表。

可选地，所述数据检测配置参数包括：第一配置参数、第二配置参数和第三配置参数；

所述第一配置参数用于指示是否对所述目标数据库表进行第一检测项的检测和是否对所述目标数据库表进行第二检测项的检测；

所述第一检测项包括：主键重复检测；所述第二检测项包括：主键空串检测；

所述第二配置参数包括所述目标数据库表的所有主键字段；

所述第三配置参数包括日期字段，且所述第三配置参数用于指示是否对所述目标数据库表进行第三检测项的检测；所述第三检测项包括：数据量波动检测。

可选地，当所述第三配置参数指示对所述目标数据库表进行数据量波动检测时，所述数据检测配置参数还包括：所述第三检测项对应的检测阈值；

当所述目标数据库表的数据量波动超过所述检测阈值时，所述数据质量检测结果包括：所述目标数据库表的所述第三检测项检测不通过；

当所述目标数据库表的数据量波动未超过所述检测阈值时，所述数据质量检测结果包括：所述目标数据库表的所述第三检测项检测通过。

可选地，所述第三检测项具体包括：对所述目标数据库表的当日和上日的数据进行数据量波动检测。