[发明专利]数据质量治理方法、装置、设备及存储介质

说明书

本发明公开一种数据质量治理方法、装置、设备及存储介质，所述方法包括：提取新输入数据库的新输入数据段，对所述新输入数据段的特征点进行拆解，将拆解后的所述新输入数据段的特征点与所述数据库的原数据段的特征点进行相似特征匹配，根据所述相似特征匹配的结果得到所述新输入数据段的相似等级，提取相似等级高于第一阈值的所述新输入数据段，通过数据相似度算法对相似等级高于所述第一阈值的所述新输入数据段进行计算，得到数据相似度结果，根据所述数据相似度结果，将相似度高于第二阈值的所新输入述数据段整合到所述数据库中。本发明使得数据整合和质量治理的效率较高，同时误码率低、整合反应速度增快。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据质量治理方法、装置、设备及存储介质。

背景技术

数据质量治理，是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。在对数据库新增主数据过程中，需要开展数据相似性度量、重复主数据匹配工作，但是现有的数据质量治理方法误码率过高，整合反应速度较慢、对于新数据与原数据整合效率较低。

发明内容

鉴于以上技术问题，本发明提供了一种数据质量治理方法、装置、设备及存储介质，以提供一种误码率低、整合反应速度快的技术方案。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本发明的一方面，公开一种数据质量治理方法，所述方法包括：

提取新输入数据库的新输入数据段；

对所述新输入数据段的特征点进行拆解；

将拆解后的所述新输入数据段的特征点与所述数据库的原数据段的特征点进行相似特征匹配；

根据所述相似特征匹配的结果得到所述新输入数据段的相似等级；

提取相似等级高于第一阈值的所述新输入数据段；

通过数据相似度算法对相似等级高于所述第一阈值的所述新输入数据段进行计算，得到数据相似度结果；

根据所述数据相似度结果，将相似度高于第二阈值的所新输入述数据段整合到所述数据库中。

进一步的，所述提取新输入数据库的新输入数据段，包括：实时检测新输入所述数据库的所述新输入数据段；当检测到新输入的所述新输入数据段时；将所述新输入数据段进行提取并标记。

进一步的，所述对所述新输入数据段的特征点进行拆解，包括：采用裂项算法对所述新输入数据段的特征点进行拆解并提取。

进一步的，所述将拆解后的所述新输入数据段的特征点与所述数据库的原数据段的特征点进行相似特征匹配，包括：将拆解后的所述新输入数据段的特征点与所述数据库中的原数据段的若干个特征点进行相似特征匹配；整理所述相似特征匹配的结果，按照匹配程度较高至匹配程度较底的顺序排列。

进一步的，所述根据所述相似特征匹配的结果得到所述新输入数据段的相似等级，包括：对所述相似特征匹配的结果进行分析；根据所述新输入数据段与所述数据库中的若干条所述原数据段相似特征匹配的程度的不同，确定所述新输入数据段与所述数据库中的其他所述原数据段的相似等级。

进一步的，所述将相似度高于第二阈值的所新输入述数据段整合到所述数据库中，包括：将所述数据库中的所述原数据段与所述新输入数据段相似的字节进行逐一整合。

进一步的，所述方法还包括：获取所述新输入数据段整合到所述数据库中的记录；将所述记录生成质量治理报告；将所述质量治理报告存储在日志中。