[发明专利]一种用于提升数据质量的数据治理方法

说明书

本发明提供一种用于提升数据质量的数据治理方法，涉及数据治理技术领域，包括以下步骤：采集待治理数据库中的数据表，将采集的数据表按照统一格式转换成标准格式表。本发明通过对数据进行统一的格式转换，使得数据表中不同格式的数据能够统一化处理，依据时效原则，减少了数据处理的数量，能够提升数据处理的速度，通过将具有相同特征的数据进行提取汇总，进行分类处理，能够提高数据处理的相关性，将超过预设阈值的数据剔除，可以实现对赘余数据的处理效果，减少了数据中的误差数据，在数据中补充缺失的数据，使得数据能够保持完整性，同时，还可以对处理后的数据进行验证，进而实现了对数据治理质量的提升。

技术领域

本发明涉及数据治理技术领域，特别的为一种用于提升数据质量的数据治理方法。

背景技术

数据是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的原始素材。随着数据在企业中发挥的作用越来越重要，数据治理已经成为数据处理的重要一项步骤。

在专利申请号为CN202010406901.6的“用于提升数据质量的数据治理方法”的专利中，在说明书中记载有“采集指定数据库表的元数据为当前元数据，并对比当前元数据及预设的有效性规则；其中，当前元数据包括技术元数据和业务元数据；如果当前元数据符合所述有效性规则，则确定当前元数据具有有效性；如果当前元数据不符合所述有效性规则，则指示相应负责人对当前元数据进行修正，确定对当前元数据进行修正得到的元数据为当前元数据，返回执行对比当前元数据及预先设置的有效性规则的步骤，直至确定当前元数据不符合所述有效性规则的次数达到次数阈值为止。从而提升数据质量，实现对数据的有效治理”，在所提供的数据质量方法中，对于数据处理中的赘余数据未进行有效的处理，影响了数据数量的速度和质量，同时，地域与数据中存在的缺失数据未进行有效的补充，使得治理后的数据缺少完整性，进而影响数据使用时的功能性，无法满足使用者对于数据治理质量的要求。

综上所述，研发一种用于提升数据质量的数据治理方法，仍是数据治理技术领域中急需解决的关键问题。

发明内容

本发明提供的了一种用于提升数据质量的数据治理方法，本发明通过对数据进行统一的格式转换，使得数据表中不同格式的数据能够统一化处理，依据时效原则，减少了数据处理的数量，能够提升数据处理的速度，通过对赘余数据的处理效果，减少了数据中的误差数据，在数据中补充缺失的数据，使得数据能够保持完整性，同时，还可以对处理后的数据进行验证，进而实现了对数据治理质量的提升。

为实现以上目的，本发明通过以下技术方案予以实现：一种用于提升数据质量的数据治理方法，包括以下步骤：

(1)采集待治理数据库中的数据表，将采集的数据表按照统一格式转换成标准格式表；

(2)对转换后的标准格式表内的数据依据时效原则，剔除无关数据，获得时效数据；

(3)在获得的时效数据中剔除赘余数据，获得无赘余数据；

(4)在无赘余数据中预估及补充缺失数据；

(5)将步骤(4)中处理后的数据加入数据库，并对数据进行运行验证，将验证结果与预定结果的比值和误差率进行对比，完全数据治理。

本发明进一步设置为：在所述步骤(2)中，所述的时效原则为数据库中的数据处于待治理的时间段内。

本发明进一步设置为：在所述步骤(3)中，所述的剔除赘余数据的方法为：

提取时效数据中具有相同特征的数据X＝(x₁,x₂,x₃,...,x_n)；求取具有相同特征的数据X＝(x₁,x₂,x₃,...,x_n)的平均值将数据X分别与预设的对比阈值W进行对比，若P≤W，则对该数据进行保留，否则将该数据剔除，完成剔除赘余数据。