[发明专利]查重向量库更新、数据查重方法、装置、设备和介质

说明书

本申请实施例提供了一种查重向量库更新、数据查重方法、装置、计算机设备和存储介质，涉及数据处理领域。该查重向量库更新方法包括：从当前查重向量库中对待查向量数据进行查重检索，得到与所述待查向量数据的相似度大于预设阈值的多个相似向量数据；其中，所述当前查重向量库中包括多个数据类别，每个所述数据类别中包含初始向量数据以及基于所述初始向量数据新增的新增向量数据；分别确定各所述相似向量数据在所述当前查重向量库中所属数据类别，得到多个目标类别；将各所述目标类别中的新增向量数据更新为所述待查向量数据，得到新的查重向量库。解决了目前的在线数据查重效果均较差的技术问题，达到了提高在线查重效果的目的。

技术领域

本申请涉及数据处理技术领域，具体地，涉及一种查重向量库更新、数据查重方法、装置、计算机设备和存储介质。

背景技术

数据查重是一种较为常用的数据处理服务，被广泛应用于各行各业。在线数据查重需要同时满足时效性与准确性，即需要满足在线查重的要求，同时又需要将新进入的数据及时更新至查重向量库中以便后续可以查询检索到。

目前的数据查重主要包括两种方式：第一种方式，基于训练查重模型进行查重，这种方式准确性高，但是因为需要不断重新训练模型，时效性较低；第二种方式，基于向量数据进行查重，该种方式时效性较高，但是准确性较差。

因此，目前的在线数据查重效果均较差。

发明内容

本申请实施例中提供了一种查重向量库更新、数据查重方法、装置、计算机设备和存储介质。

本申请实施例的第一个方面，提供了一种查重向量库更新方法，包括：

从当前查重向量库中对待查向量数据进行查重检索，得到与待查向量数据的相似度大于预设阈值的多个相似向量数据；其中，当前查重向量库中包括多个数据类别，每个数据类别中包含初始向量数据以及基于初始向量数据新增的新增向量数据；

分别确定各相似向量数据在当前查重向量库中所属数据类别，得到多个目标类别；

将各目标类别中的新增向量数据更新为待查向量数据，得到新的查重向量库。

在本申请一个可选实施例中，在从当前查重向量库中对待查向量数据进行查重检索，得到与待查向量数据的相似度大于预设阈值的多个相似向量数据之前，该方法还包括：

对初始查重向量库中的各初始向量数据进行聚类处理，得到多个初始类别集合；其中，每个初始类别集合中包含多个初始向量数据；

针对每个初始类别集合中的多个初始向量数据分别进行数据增强处理，得到多个新增向量数据；

对多个新增向量数据与所有的初始向量数据重新进行聚类处理，得到多个新的类别集合；

基于新的类别集合中的各向量数据生成当前查重向量库。

在本申请一个可选实施例中，聚类处理为层次聚类处理。

在本申请一个可选实施例中，在基于新的类别集合中的各向量数据生成当前查重向量库之前，该方法还包括：

确定多个新的类别集合的新的层次数量、新的集合数量，以及各新的类别集合中向量数据的新的数据数量；对应地，基于新的类别集合中的各向量数据生成当前查重向量库，包括：

若新的层次数量与多个初始类别集合的初始层次数量相同，且多个新的类别集合的新的集合数量与多个初始类别集合的初始集合数量的比值小于预设比值，则基于新增向量数据对初始查重向量库进行更新，得到当前查重向量库。

在本申请一个可选实施例中，基于新的类别集合中的各向量数据生成当前查重向量库，还包括：