[发明专利]基于排序聚类序列辨别选择的草图图像检索方法及系统

权利要求书

1.一种基于排序聚类序列辨别选择的草图图像检索方法，其特征在于：首先构建草图图像检索网络，然后利用所述草图图像检索网络进行草图图像检索；

所述构建草图图像检索网络，具体实现包括以下步骤：

步骤1：构建草图图像检索网络；

所述草图图像检索网络，包括transformer分割模块、线性投影模块、transformer编码模块；

所述transformer分割模块，用于将输入图像分成M个2D小块图像x_p，每幅图像的大小是H×W，图像中每个小块图像的大小是P×P，

所述线性投影模块，用于将所述transformer模块输出的小块图像映射到D维度，将可学习的位置嵌入添加到小块图像嵌入中，用以保存位置信息；其中，嵌入向量记为z₀，位置零的输出是D维类令牌x_class；

所述transformer编码模块，用于通过送入transformer编码模块的z₀，挖掘序列中小块图像之间的关系；所述transformer编码模块包括L个transformer层和一个哈希层，每个transformer层包含多头自注意层MSA和Conv_1×1块，Conv_1×1块由带有1×1的卷积核的两个卷积层和一个全连接层；对于每一个transformer层，它的输入都是前一层的输出；第L层transformer输出输入哈希层，进行深度哈希函数学习，将输出的哈希码用于构建目标函数中的三元组项、类别级语义项和排序聚类项；

步骤2：获取现有草图图像数据集，将数据集划分为训练数据集、验证数据集和测试数据集；

步骤3：在训练数据集中，给定N个三元组单元和三元组标签其中中的三个元素依次分别表示第i个数据的锚点草图、正例图像和负例图像；表示的类标签，表示的类标签，表示的类标签；其中，N、I分别表示三元组单元的个数和数据集中样本的个数；a,p,n分别表示锚点图像、正例图像和负例图像；

步骤4：利用训练集训练草图图像检索网络，计算草图图像检索网络的目标函数并更新草图图像检索网络的初始参数；网络训练达到预设轮次或直到损失不再下降为止；获得训练好的草图图像检索网络。

2.根据权利要求1所述的基于排序聚类序列辨别选择的草图图像检索方法，其特征在于：步骤1中，所述将可学习的位置嵌入添加到小块图像嵌入中，嵌入向量为：

其中，分别表示第1,2，…，M个2维小块图像；E表示小块图像嵌入投影，E_pos表示位置嵌入。

3.根据权利要求1所述的基于排序聚类序列辨别选择的草图图像检索方法，其特征在于：步骤1中，所述transformer编码模块为：

z′_l＝MAS(LN(z_l-1)+z_l-1) (2)

z_l＝CONV(LN(z′_l)+z′_l) (3)

其中，LN(·)表示层的归一化操作，z_l表示嵌入图像表示；z′_l表示多头自注意层的输出，CONV(·)表示卷积操作。

4.根据权利要求1所述的基于排序聚类序列辨别选择的草图图像检索方法，其特征在于：步骤1中，所述transformer编码模块第L层的输入是其中，分别表示第L-1层的M个输出；除第L层外，每一层的K头自注意权重是其中l∈1,2,…,L-1；对于每一层的自注意，每个小块图像有K组结点；因此，每一层中M个小块图像的权重表示为其中i∈1,2,…,K；将前L-1层的权重相乘得到最终的权值，如下：

其中，w_f表示能选择辨别区域的最终权值；

携带有用信息的小块图像的索引能由选择区域获得，同时，将索引作为位置信息用来找到相应的小块图像嵌入，选择嵌入形成一个新序列并进入第L层transformer。