[发明专利]一种数据质量检测方法及系统

说明书

本发明公开了一种数据质量检测方法及系统，该方法包括：从数据记录集中读取需要检测的数据并保存数据主键；读取预设的数据质量规则集并调用解析方法解析数据质量规则集，利用解析后的数据质量规则集对目标数据集中的数据进行逐个或批量的数据质量检测；将数据质量检测结果进行保存并汇总为质量检测报告；计算出特定的数据质量指标值，获得目标数据质量的可度量结果。本发明利用特定的业务数据质量规则和针对业务数据库设计的检测方法，实现了对源系统数据的高效的数据质量检测，支持可配置的规则设置并提供数据质量结果汇总功能，对数据质量结果进行指标计算，从而量化数据质量情况。

技术领域

本发明涉及数据治理技术领域，特别涉及一种针对生产系统(源系统)进行高效检测的数据质量检测方法及系统。

背景技术

基于云计算和大数据技术，保障各级法院对案件管理系统产生数据的检测；并实现稳定高效的检测过程和结果报告，是法院提高案件数据质量的关键技术。

但是目前由于检测规则的丰富性而不易配置以及需要在对源系统的影响小的基础上实现高效的质量检测，使得法院案件数据质量检测的实现较为困难。

发明内容

本发明提供了一种数据质量检测方法及系统，以克服由于检测规则的丰富性而不易配置的问题，在对源系统的影响小的基础上实现高效的质量检测。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种数据质量检测方法，包括：

从待检测的数据记录集中读取需要检测的数据，并保存每一所读取的数据在所述数据记录集中的主键，得到待检测的目标数据集；

读取预设的数据质量规则集，并调用相应的解析方法解析所述数据质量规则集，利用解析后的数据质量规则集对所述目标数据集中的需要检测的数据进行逐个或批量的数据质量检测，得到所述目标数据集中各数据的质量检测结果；

将得到的数据质量检测结果进行保存，并汇总为质量检测报告；

基于得到的数据质量检测结果，计算出预设的数据质量指标值，将目标数据对应的数据质量进行量化处理，以获得所述目标数据质量的可度量结果。

进一步地，所述从待检测的数据记录集中读取需要检测的数据，并保存每一所读取的数据在所述数据记录集中的主键，得到待检测的目标数据集，包括：

通过系统业务检测范围配置表中配置的数据开始时间和数据结束时间，从待检测的数据记录集中查询匹配的数据，读取需要检测的数据；

将读取的每一数据的主键存储到被检测案件信息表中；其中，所述被检测案件信息表中包括数据主键、数据检测状态和数据被检测时间，用于数据的断点续查和数据状态记录，检测任务以所述被检测案件信息表为范围进行检测。

进一步地，所述目标数据集根据业务属性对主键集进行提取、保存和断点续检。

进一步地，所述目标数据集根据业务属性对主键集进行提取、保存和断点续检，包括：

把待检测的数据的主键集保存在数据库中，形成待检测的目标数据的属性信息，实现数据质量检测任务在中止、中断的情形下的再次启动，并实现无缝衔接，同时保证数据质量检测任务的各项数据信息的前后一致性。

进一步地，所述数据质量规则集的属性针对业务进行设置，支持SQL和程序方法两种方式实现检测规则。

进一步地，所述读取预设的数据质量规则集，并调用相应的解析方法解析所述数据质量规则集，包括：

读取预设的数据质量规则集，并调用相应的解析方法解析所述数据质量规则集，将获取的质量规则组内容预先拉入缓存库Redis中。