[发明专利]一种清洗重复数据的方法、系统、设备及介质

摘要

本发明公开了一种清洗重复数据的方法、系统、设备和存储介质，方法包括：将待查询数据进行拆分，根据拆分后的数据中的多个不连续的关键字在数据库中进行匹配以得到近邻数据集；计算近邻数据集中的各个数据与待查询数据的相似度，并判断近邻数据集中是否存在相似度大于阈值的数据；响应于近邻数据集中存在相似度大于阈值的数据，对相似度大于阈值的数据进行拆分，并将拆分后的每个词组与待查询数据进行匹配；以及响应于相似度大于阈值的数据的每个词组均能匹配成功，将数据删除。本发明提出的清洗重复数据的方法、系统、设备及介质通过关键属性判断待查询数据的近邻，在近邻中进行相似度校验，既能提升效率，又能快速精准定位相似或重复数据。