[发明专利]数据质量治理方法、装置、设备及存储介质

权利要求书

1.一种数据质量治理方法，其特征在于，所述方法包括：

提取新输入数据库的新输入数据段；

利用单位方差，对新输入数据段内包含的特征点拆解，包括：将所述数据段内的数据减去所述数据段，得到差值，将所述差值除以所述数据段的标准差，得到所述数据段的数据的特征点；

将拆解后的所述新输入数据段的特征点与所述数据库的原数据段的特征点进行相似特征匹配，包括，计算所述新输入数据段的特征点与所述数据库的原数据段的特征点的协方差，根据协方差的绝对值，确定所述特征相似特征匹配的结果；

根据所述相似特征匹配的结果得到所述新输入数据段的相似等级；

提取相似等级高于第一阈值的所述新输入数据段；

通过数据相似度算法对相似等级高于所述第一阈值的所述新输入数据段进行计算，包括，计算相似等级高于所述第一阈值的所述新输入数据段的特征点与所述原数据段的特征点的协方差，将得到的协方差组成协方差矩阵，计算所述协方差矩阵的特征向量，根据所述特征向量，得到数据相似度结果；

根据所述数据相似度结果，将相似度高于第二阈值的所新输入述数据段整合到所述数据库中。

2.根据权利要求1所述的数据质量治理方法，其特征在于，所述提取新输入数据库的新输入数据段，包括：

实时检测新输入所述数据库的所述新输入数据段；

当检测到新输入的所述新输入数据段时；

将所述新输入数据段进行提取并标记。

3.根据权利要求1所述的数据质量治理方法，其特征在于，对所述新输入数据段的特征点进行拆解，包括：采用裂项算法对所述新输入数据段的特征点进行拆解并提取。

4.根据权利要求1所述的数据质量治理方法，其特征在于，所述将拆解后的所述新输入数据段的特征点与所述数据库的原数据段的特征点进行相似特征匹配，包括：

将拆解后的所述新输入数据段的特征点与所述数据库中的原数据段的若干个特征点进行相似特征匹配；

整理所述相似特征匹配的结果，按照匹配程度较高至匹配程度较底的顺序排列。

5.根据权利要求1所述的数据质量治理方法，其特征在于，所述根据所述相似特征匹配的结果得到所述新输入数据段的相似等级，包括：

对所述相似特征匹配的结果进行分析；

根据所述新输入数据段与所述数据库中的若干条所述原数据段相似特征匹配的程度的不同，确定所述新输入数据段与所述数据库中的其他所述原数据段的相似等级。

6.根据权利要求1所述的数据质量治理方法，其特征在于，所述将相似度高于第二阈值的所新输入述数据段整合到所述数据库中，包括：将所述数据库中的所述原数据段与所述新输入数据段相似的字节进行逐一整合。

7.根据权利要求1所述的数据质量治理方法，其特征在于，所述方法还包括：

获取所述新输入数据段整合到所述数据库中的记录；

将所述记录生成质量治理报告；

将所述质量治理报告存储在日志中。