[发明专利]查重向量库更新、数据查重方法、装置、设备和介质

权利要求书

1.一种查重向量库更新方法，其特征在于，包括：

对初始查重向量库中的各初始向量数据进行聚类处理，得到多个初始类别集合；其中，每个所述初始类别集合中包含多个所述初始向量数据；

针对每个所述初始类别集合中的所述多个初始向量数据分别进行数据增强处理，得到多个新增向量数据；

对多个所述新增向量数据与所有的所述初始向量数据重新进行聚类处理，得到多个新的类别集合；

基于所述新的类别集合中的各向量数据生成当前查重向量库；

从当前查重向量库中对待查向量数据进行查重检索，得到与所述待查向量数据的相似度大于预设阈值的多个相似向量数据；其中，所述当前查重向量库中包括多个数据类别，每个所述数据类别中包含初始向量数据以及基于所述初始向量数据新增的新增向量数据；

分别确定各所述相似向量数据在所述当前查重向量库中所属数据类别，得到多个目标类别；

将各所述目标类别中的新增向量数据更新为所述待查向量数据，得到新的查重向量库。

2.根据权利要求1所述的查重向量库更新方法，其特征在于，所述聚类处理为层次聚类处理。

3.根据权利要求1所述的查重向量库更新方法，其特征在于，在所述基于所述新的类别集合中的各向量数据生成所述当前查重向量库之前，所述方法还包括：

确定所述多个新的类别集合的新的层次数量、新的集合数量，以及各所述新的类别集合中向量数据的新的数据数量；对应地，所述基于所述新的类别集合中的各向量数据生成所述当前查重向量库，包括：

若所述新的层次数量与所述多个初始类别集合的初始层次数量相同，且所述多个新的类别集合的新的集合数量与所述多个初始类别集合的初始集合数量的比值小于预设比值，则基于所述新增向量数据对所述初始查重向量库进行更新，得到所述当前查重向量库。

4.根据权利要求1所述的查重向量库更新方法，其特征在于，所述基于所述新的类别集合中的各向量数据生成所述当前查重向量库，还包括：

若所述多个新的类别集合的所述新的集合数量与所述多个初始类别集合的初始集合数量的比值不小于预设比值，则调整对每个所述初始类别集合中的所述多个初始向量数据分别进行数据增强处理的增强参数；

重新确定新的新增向量数据，直至所述新的新增向量数据与所述初始向量数据的比值小于所述预设比值，则基于所述新的新增向量数据对所述初始查重向量库进行更新，得到所述当前查重向量库。

5.根据权利要求1所述的查重向量库更新方法，其特征在于，所述针对每个所述初始类别集合中的所述多个初始向量数据分别进行数据增强处理，得到多个新增向量数据，包括：

针对每个所述初始类别集合，根据预设的增强比例与所述初始类别集合中所述初始向量数据的总数量计算所述初始类别集合中需要进行数据增强的增强数量；

针对每个所述初始类别集合，对所述初始类别集合中的所述初始向量数据进行数据增强处理，得到所述增强数量的所述新增向量数据。

6.根据权利要求1所述的查重向量库更新方法，其特征在于，所述针对每个所述初始类别集合中的所述多个初始向量数据分别进行数据增强处理，得到多个所述新增向量数据，包括：

根据预先配置的噪音参数对每个所述初始类别集合中的所述多个初始向量数据分别进行数据噪声增强，得到各所述初始类别集合中的多个所述新增向量数据。

7.一种数据查重方法，其特征在于，包括：

对待查数据进行向量化处理，得到待查向量数据；

从新的查重向量库中对所述待查向量数据进行查重检索，得到与所述待查向量数据的相似度大于预设阈值的多个相似向量数据；其中，所述新的查重向量库是根据如权利要求1-6任一项所述的查重向量库更新方法对当前查重向量库进行更新得到的。

8.根据权利要求7所述的数据查重方法，其特征在于，包括：

若所述待查向量数据不存在于所述多个相似向量数据中，则基于如权利要求1-6任一项所述的查重向量库更新方法对所述新的查重向量库进行更新。