[发明专利]一种基于四个维度进行数据质量监测及评价方法

说明书

技术领域

本发明涉及一种对数据质量进行检测及评价的方法。

背景技术

作为所有上层系统应用的基础，数据质量的好坏将直接影响到各类应用功能的使用效果。但是由于各接入平台建设水平参差不齐，上传数据的质和量都存在不同程度的差异，严重影响了数据在上层系统中的应用效果。

发明内容

本发明的目的是将提供一种对数据质量进行检测及评价的方法。

为了达到上述目的，本发明的技术方案是提供了一种基于四个维度进行数据质量监测及评价方法，其特征在于，包括以下步骤：

步骤1、将数据质量管理体系中所有可监控、可计算的数据指标在指标源中统一编码管理，从而形成监测指标，将所有监测指标分为完整性、一致性、规范性和及时性四个维度进行监测，其中：

完整性是为了监测当前数据质量管理体系是否将业务日期内的数据完整上传，为了便于数据质量问题追溯，将完整性监测进一步细分为关联性和业务约束性两类；

一致性是为了监测当前数据质量管理体系上传的统计指标是否与明细报告汇总值相符；

规范性是为了监测当前数据质量管理体系上传的数据是否满足接口中定义的数据规范性要求；

及时性是为了监测当前数据质量管理体系上传的数据是否在业务数据产生后及时上传；

步骤2、计算隶属于关联性的各监测指标的关联率，计算隶属于业务约束性的各监测指标的约束符合率，计算隶属于一致性的各监测指标的明细数据统计结果与业务运营一致率，计算隶属于规范性的各监测指标的规范率，计算隶属于及时性的各监测指标的平均差异天数；

步骤3、分别为关联率、约束符合率、明细数据统计结果与业务运营一致率、规范率、平均差异天数设定不同的等分区间，等分区间对应的最高分值为MAX，根据该得分区间计算分别隶属于关联性、业务约束性、一致性、规范性及及时性的各监测指标的得分；

步骤4、将一致性得分的满分设定为A，计算得到隶属于一致性的N₁个监测指标的得分的总和sum₁，则将单指标体系得分₁的权重，即单指标体系权重₁，设为a；

计算得到隶属于关联性的N₂₁个监测指标的得分的总和sum₂₁，计算得到隶属于业务约束性的N₂₂个监测指标的得分的总和sum₂₂，则将单指标体系得分₂的权重，即单指标体系权重₂，设为b；

计算得到隶属于规范性的N₃个监测指标的得分的总和sum₃，则将单指标体系得分₃的权重，即单指标体系权重₃，设为c；

计算得到隶属于及时性的N₄个监测指标的得分的总和sum₄，则将单指标体系得分₄的权重，即单指标体系权重₄，设为d；

步骤5、计算得到当前数据质量管理体系的评价得分P，将当前数据质量管理体系的上次评价得分记为P_-1，则有：

优选地，在所述步骤5中，所述平滑系数初始化为120％。

优选地，在所述步骤5之后，还包括：

步骤6、设目标区域内有n家机构运行了数据质量管理体系，通过所述步骤1至步骤5分别计算每家机构的数据质量管理体系的评价得分，其中，第i家机构的数据质量管理体系的评价得分为P_i，则目标区域的数据质量评价得分为PD，则有PD=Σi=1nPin.]]>

本发明提出了一种基于四个维度的数据质量监测及评价体系，该体系采用分级量化的方法，向不同的接入平台提供技术支撑和管理措施，从数据一致性、完整性、规范性、及时性四个维度全面监测及提高数据上传质量。