[发明专利]一种用于提升数据质量的数据治理方法

权利要求书

1.一种用于提升数据质量的数据治理方法，其特征在于，包括以下步骤：

(1)采集待治理数据库中的数据表，将采集的数据表按照统一格式转换成标准格式表；

(2)对转换后的标准格式表内的数据依据时效原则，剔除无关数据，获得时效数据；

(3)在获得的时效数据中剔除赘余数据，获得无赘余数据；

(4)在无赘余数据中预估及补充缺失数据；

(5)将步骤(4)中处理后的数据加入数据库，并对数据进行运行验证，将验证结果与预定结果的比值和误差率进行对比，完全数据治理。

2.根据权利要求1所述的用于提升数据质量的数据治理方法，其特征在于：在所述步骤(2)中，所述的时效原则为数据库中的数据处于待治理的时间段内。

3.根据权利要求1所述的用于提升数据质量的数据治理方法，其特征在于：在所述步骤(3)中，所述的剔除赘余数据的方法为：

提取时效数据中具有相同特征的数据X＝(x₁,x₂,x₃,...,x_n)；求取具有相同特征的数据X＝(x₁,x₂,x₃,...,x_n)的平均值将数据X分别与预设的对比阈值W进行对比，若P≤W，则对该数据进行保留，否则将该数据剔除，完成剔除赘余数据。

4.根据权利要求3所述的用于提升数据质量的数据治理方法，其特征在于：所述的相同特征的数据X指用于某一特定属性的采集数据。

5.根据权利要求3所述的用于提升数据质量的数据治理方法，其特征在于：所述的预设的对比阈值W为平均值P的α倍，即W＝αP，其中α为设定常数。

6.根据权利要求1所述的用于提升数据质量的数据治理方法，其特征在于：在所述步骤S4中，所述的预估及补充缺失数据的方法为：

将k个相连的具有相同特征的数据X做归一化处理；计算获取第i个临近的熵值t_i,计算第i个临近的差异度系数Z_i，Z_i＝1-t_i,(i＝1,2,3,...,k)；求取第i个临近的熵值系数，计算出缺失值，将缺失值插入对应的位置。

7.根据权利要求6所述的用于提升数据质量的数据治理方法，其特征在于：所述的归一化处理，其公式为式中，h_i表示第i个相邻项与目标项之间的距离。

8.根据权利要求6所述的用于提升数据质量的数据治理方法，其特征在于：所述的计算出缺失值，其计算公式为其中x_i为k个相连的具有相同特征的数据的集合。

9.根据权利要求1所述的用于提升数据质量的数据治理方法，其特征在于：在所述步骤(5)中，所述的对数据进行运行验证，是指将验证结果与预定结果的比值和误差率进行对比，若误差率在设定误差范围内，则完成数据治理，若误差率在设定误差范围之外，则重复步骤(1)-(5)。