[发明专利]一种重复数据的数据质量检测方法及装置

说明书

本发明为一种重复数据的数据质量检测方法及装置，所述方法包括：步骤b，生成模型训练集；步骤c，分析所述模型训练集中的各个组合对，并标记为记录重复或记录不重复；步骤d，计算记录重复的概率，并筛选出概率较大的字段组合作为样本字段组合；步骤e，对待检测数据的值进行分析；步骤f，据进行重复检测，筛选出所有重复字段满足所述样本字段组合的记录组合；所述装置包括与各个步骤相对应的训练集生成单元、样本记录标重单元、样本组合筛选单元、检测数据分析单元和检测数据筛选单元。这样，通过对字段组合进行重复可能性的计算，无需比较任意两条记录的重复可能性，缩短了时间，提高了检测效率；同时也可以检测两条数据部分相同的情况。

技术领域

本发明涉及数据质量监控技术领域，具体涉及一种重复数据的数据质量检测方法及装置。

背景技术

信息技术的快速发展使得数据逐渐成为实现企业业务价值最重要的资源之一。然而随着数据量的不断增大，数据质量问题也随之而来。数据缺失、错误、不一致等问题使企业对其的应用受到阻碍，严重的甚至会导致企业做出错误决策，损失重要价值进而引发信任危机。

针对这些脏数据，许多数据质量检测和清洗方案应运而生。而重复数据在其中则是比较难以检测的一种数据质量问题。因为如今企业面对的数据重复问题不单单是数据完全的重复，还包括部分重复。比如某个社交网站拥有数以千万的用户，但这些用户可能有重复注册的情况，这些重复注册的用户可能只有某些信息出现了微小的差异。如何识别这些重复的用户信息对于维护网站质量至关重要。

目前比较有代表性的数据重复检查方案有的根据每条记录的内容计算唯一的哈希码和检查码，然后根据哈希码和检查码是否相同来判断数据是否重复，特点是准确性高、效率高，但只适用于记录完全重复的情况；有的方案基于机器学习对重复检测模型进行训练，特点是灵活性高，不把各种情景的重复检测限制在一种方法之下，但每两条数据都要计算重复可能性，效率低，且准确性仍有待提升。

鉴于上述缺陷，本发明创作者经过长时间的研究和试验终于提出了一种重复数据的数据质量检测方法及装置。

发明内容

本发明的目的在于提供一种重复数据的数据质量检测方法及装置，用以克服上述技术缺陷，解决如何准确、快速检测到部分重复数据以及完全重复数据的问题。

为实现上述目的，本发明采用的技术方案在于：首先提供一种重复数据的数据质量检测方法，其包括：

步骤b，对包含多条记录的训练样本的数据值进行分析，生成模型训练集；

步骤c，分析所述模型训练集中的各个组合对，并通过人工或算法将所述组合对对应的两条记录标记为记录重复或记录不重复；然后选择是否继续训练，继续则重新确定所述训练样本并返回步骤b，否则进入步骤d；

步骤d，计算一个或多个字段重复则记录重复的概率，并筛选出概率较大的字段组合作为样本字段组合；

步骤e，对待检测数据的值进行分析，输出每个字段的每个不同值对应的记录编号；

步骤f，根据所述样本字段组合对分析过的所述待检测数据进行重复检测，筛选出所有重复字段满足所述样本字段组合的记录组合。

较佳的，所述数据质量检测方法还包括：

步骤a，从所述待检测数据源提取所述训练样本；所述步骤a在所述步骤b之前。

较佳的，所述数据质量检测方法还包括：

步骤g，输出保留的所述记录组合以及所述记录组合重复的概率，所述步骤g在所述步骤f之后。

较佳的，所述步骤b包括：

步骤b2，对所述训练样本的数据值进行分析，统计每个字段的每个不同值对应的所述记录编号；