[发明专利]一种清洗重复数据的方法、系统、设备及介质

权利要求书

1.一种清洗重复数据的方法，其特征在于，包括以下步骤：

将待查询数据进行拆分，根据拆分后的数据中的多个不连续的关键字在数据库中进行匹配以得到近邻数据集；

计算所述近邻数据集中的各个数据与待查询数据的相似度，并判断所述近邻数据集中是否存在相似度大于阈值的数据；

响应于所述近邻数据集中存在相似度大于阈值的数据，对相似度大于阈值的数据进行拆分，并将拆分后的每个词组与所述待查询数据进行匹配；以及

响应于相似度大于阈值的所述数据的每个词组均能匹配成功，将所述数据删除。

2.根据权利要求1所述的方法，其特征在于，还包括：

响应于所述近邻数据集中不存在相似度大于阈值的数据，计算所述数据库中的所有数据的相似度。

3.根据权利要求1所述的方法，其特征在于，所述判断所述近邻数据集中是否存在相似度大于阈值的数据还包括：

按照所述近邻数据集中的各个数据的相似度从大到小进行排序，并判断排在首位的数据的相似度是否大于阈值。

4.根据权利要求1所述的方法，其特征在于，所述将拆分后的每个词组与所述待查询数据进行匹配包括：

将拆分后的每个词组与所述待查询数据的词组进行匹配；以及

响应于未匹配成功，将拆分后的每个词组拆分成基本单元，并将所述基本单元与所述待查询数据进行匹配。

5.一种清洗重复数据的系统，其特征在于，包括：

第一拆分模块，配置用于将待查询数据进行拆分，根据拆分后的数据中的多个不连续的关键字在数据库中进行匹配以得到近邻数据集；

计算模块，配置用于计算所述近邻数据集中的各个数据与待查询数据的相似度，并判断所述近邻数据集中是否存在相似度大于阈值的数据；

第二拆分模块，配置用于响应于所述近邻数据集中存在相似度大于阈值的数据，对相似度大于阈值的数据进行拆分，并将拆分后的每个词组与所述待查询数据进行匹配；以及

执行模块，配置用于响应于相似度大于阈值的所述数据的每个词组均能匹配成功，将所述数据删除。

6.根据权利要求5所述的系统，其特征在于，还包括：

第二计算模块，配置用于响应于所述近邻数据集中不存在相似度大于阈值的数据，计算所述数据库中的所有数据的相似度。

7.根据权利要求5所述的系统，其特征在于，所述计算模块还配置用于：

按照所述近邻数据集中的各个数据的相似度从大到小进行排序，并判断排在首位的数据的相似度是否大于阈值。

8.根据权利要求5所述的系统，其特征在于，所述第二拆分模块还配置用于：

将拆分后的每个词组与所述待查询数据的词组进行匹配；以及

响应于未匹配成功，将拆分后的每个词组拆分成基本单元，并将所述基本单元与所述待查询数据进行匹配。

9.一种计算机设备，其特征在于，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-4任意一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4任意一项所述方法的步骤。