[发明专利]一种清洗重复数据的方法、系统、设备及介质

说明书

本发明公开了一种清洗重复数据的方法、系统、设备和存储介质，方法包括：将待查询数据进行拆分，根据拆分后的数据中的多个不连续的关键字在数据库中进行匹配以得到近邻数据集；计算近邻数据集中的各个数据与待查询数据的相似度，并判断近邻数据集中是否存在相似度大于阈值的数据；响应于近邻数据集中存在相似度大于阈值的数据，对相似度大于阈值的数据进行拆分，并将拆分后的每个词组与待查询数据进行匹配；以及响应于相似度大于阈值的数据的每个词组均能匹配成功，将数据删除。本发明提出的清洗重复数据的方法、系统、设备及介质通过关键属性判断待查询数据的近邻，在近邻中进行相似度校验，既能提升效率，又能快速精准定位相似或重复数据。

技术领域

本发明涉及数据处理领域，更具体地，特别是指一种清洗重复数据的方法、系统、计算机设备及可读介质。

背景技术

近几年，随着硬件设施与软件技术不断的推陈出新，以及数据分析在国家和企业发展中起到的作用越来越大，国家政府和企业越来越重视数据的分析与处理。但是在技术发展的同时，大量的数据分别存储在不同的部门或子公司内，形成了信息壁垒，因此对数据的统一管理成为一个急切需要解决的问题。尤其是在大型企业使用ERP产品中，集团与子公司存在一套甚至多套信息系统，如何打通这些信息壁垒成为企业数据化的重要一步。

借助GSP框架研发的主数据产品，成为打破数据壁垒的关键一环，借助GSP框架，主数据可以快速根据实际场景定义出一套适配企业要求的数据管理系统。但是，数据清洗仍然是主数据中关键的一环，各个业务系统的数据要形成主数据，必须经过数据清洗，去除脏数据和重复数据。例如：在不同的业务系统中，“中国国家铁路集团有限公司”这条数据，可能会被叫做“中国铁路集团”、“中铁集团”等多种叫法，由于各个信息系统是独立运行维护的，其主键也很难保持一致。因此，在获取业务系统数据形成主数据前，通过数据清洗，去除相似或重复数据尤为必要。

发明内容

有鉴于此，本发明实施例的目的在于提出一种清洗重复数据的方法、系统、计算机设备及计算机可读存储介质，通过关键属性判断待查询数据的近邻，在近邻中进行相似度校验，既能提升效率，又能快速精准定位相似或重复数据，在不增加用户操作难度的基础上，提升了数据清洗的效率，更便捷的查询出相似或重复数据。

基于上述目的，本发明实施例的一方面提供了一种清洗重复数据的方法，包括如下步骤：将待查询数据进行拆分，根据拆分后的数据中的多个不连续的关键字在数据库中进行匹配以得到近邻数据集；计算所述近邻数据集中的各个数据与待查询数据的相似度，并判断所述近邻数据集中是否存在相似度大于阈值的数据；响应于所述近邻数据集中存在相似度大于阈值的数据，对相似度大于阈值的数据进行拆分，并将拆分后的每个词组与所述待查询数据进行匹配；以及响应于相似度大于阈值的所述数据的每个词组均能匹配成功，将所述数据删除。

在一些实施方式中，还包括：响应于所述近邻数据集中不存在相似度大于阈值的数据，计算所述数据库中的所有数据的相似度。

在一些实施方式中，所述判断所述近邻数据集中是否存在相似度大于阈值的数据还包括：按照所述近邻数据集中的各个数据的相似度从大到小进行排序，并判断排在首位的数据的相似度是否大于阈值。

在一些实施方式中，所述将拆分后的每个词组与所述待查询数据进行匹配包括：将拆分后的每个词组与所述待查询数据的词组进行匹配；以及响应于未匹配成功，将拆分后的每个词组拆分成基本单元，并将所述基本单元与所述待查询数据进行匹配。