[发明专利]一种数据质量检查规则有效性评估及反馈优化方法、存储介质及系统

说明书

本发明提供一种数据质量检查规则有效性评估及反馈优化方法、存储介质及系统，该方法包括：从数据质量检查规则集当中选取出需评估的第一数据质量检查规则，根据多项质量规则评估指标构建数据质量检查规则评估体系，利用各项质量规则评估指标对第一数据质量检查规则进行评估得到评分，结合各项质量规则评估指标的评分和权重分配情况计算得到有效性评估结果，若有效性评估结果没有达到第一预设程度则从数据质量知识库中找出相似度最高的第二数据质量检查规则，若该相似度达到第二预设程度则利用第二数据质量检查规则所关联的优化知识对第一数据质量检查规则进行优化，然后根据优化后的第一数据质量检查规则更新数据质量检查规则集。

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据质量检查规则有效性评估及反馈优化方法、存储介质及系统。

背景技术

数据质量检查规则集是指用户根据数据标准定义的数据质量检查规则的集合，其中的数据质量检查规则可供数据质量引擎读取并执行从而进行数据质量检查，然后数据质量引擎将检查产生的结果存放在监控结果表中供用户监控。

不同类型数据所关联的数据标准可能有所不同，若在数据质量检查过程中数据质量引擎所读取到的数据质量检查规则与待进行数据质量检查的数据所关联的数据标准不相符，则利用该读取到的数据质量检查规则进行数据质量检查所得到的结果会与实际有所偏差。例如，某字段数据的字符长度为10，其所关联的数据标准为字符长度不得超过9，根据该数据标准定义的数据质量检查规则就是检查字段数据的字符长度是否超过9，那么利用该数据质量检查规则对该字段数据进行数据质量检查得到的结果实际应是不通过，但是，数据质量检查规则集当中可能不存在检查字段数据的字符长度是否超过9的数据质量检查规则，那么在数据质量检查的过程中，数据质量引擎读取到的数据质量检查规则就不是检查字段数据的字符长度是否超过9，而是相似度最高的其他数据质量检查规则，例如是检查字段数据的字符长度是否超过10，那么利用该读取到的数据质量检查规则进行数据质量检查所得到的结果就是通过，该结果与实际有所偏差。

发明内容

本发明要解决的技术问题是如何减少数据质量检查的结果偏差。

为解决上述技术问题，本发明提供一种数据质量检查规则有效性评估及反馈优化方法，包括如下步骤：

A.从数据质量检查规则集当中选取出需评估的第一数据质量检查规则；

B.获取能分别从不同维度对所述第一数据质量检查规则进行评估的多项质量规则评估指标，根据所述多项质量规则评估指标构建数据质量检查规则评估体系；

C.利用所述数据质量检查规则评估体系中的各项质量规则评估指标对所述第一数据质量检查规则进行评估，得到各项质量规则评估指标的评分；

D.获取各项质量规则评估指标的权重分配情况，结合各项质量规则评估指标的评分计算得到所述第一数据质量检查规则的有效性评估结果；

E.获取分别对预设的多条数据质量检查规则进行优化操作所生成的多条优化知识，根据所述多条优化知识构建数据质量知识库；

F.判断所述有效性评估结果是否达到第一预设程度，若没有达到则分析所述数据质量知识库当中各条优化知识分别关联的其他数据质量检查规则与所述第一数据质量检查规则之间的相似度，找出相似度最高的第二数据质量检查规则；

G.判断所述第一数据质量检查规则与所述第二数据质量检查规则之间的相似度是否达到第二预设程度，若达到则利用所述第二数据质量检查规则所关联的优化知识对所述第一数据质量检查规则进行优化，若没有达到则获取用户输入的针对所述第一数据质量检查规则的优化知识进行优化，并将针对所述第一数据质量检查规则的优化知识新增到所述数据质量知识库中；

H.根据优化后的第一数据质量检查规则更新所述数据质量检查规则集。

优选地，所述质量规则评估指标包括规范性指标、运行指标和稽核指标。