[发明专利]基于排序聚类序列辨别选择的草图图像检索方法及系统

说明书

本发明公开了一种基于排序聚类序列辨别选择的草图图像检索方法，首先绘制查询草图并选择辨别区域，同时利用排序信息来聚合相同类别的样本，通过这样做，可以了解样本在其他模态下应该是什么样子。最后我们利用哈希码来执行草图图像的检索。本发明设计有序列辨别选择模块的三元组transformer主干，捕捉草图和自然图像之间的重要辨别域；提出由三元组项，语义相似项，排序聚类项和辨别学习项构成的目标函数，在哈希码学习过程中保持哈希码的语义相似性，捕捉不同模态之间的相似性，优化排序信息从而对相似实例进行聚类并且知道辨别域学习。解决冗余信息和忽略排序信息的问题，使检索精度更高，进一步提升性能。

技术领域

本发明属于图像检索技术领域，涉及一种草图图像检索方法及系统，特别涉及一种基于排序聚类序列辨别选择的草图图像检索方法及系统。

背景技术

由于触摸屏设备的爆炸性增长，草图的使用变得越来越频繁：用户可以随时随地用手指在触摸屏设备上绘制草图。利用草图挖掘有效的自然图像是非常有意义的。因此草图图像检索受到的关注越来越多，草图图像检索的目的是通过利用手绘草图作为查询方式来匹配自然图像。

现有的草图图像检索方法大致分为两类：手工制作方法和深度学习方法。但因为手工制作特征不能有效地表示具有较大变化和歧义的自然图像和未对齐草图的边缘，手工制作草图图像检索方法不能很好地减少草图和自然图像之间的跨域差异。为了解决跨域差异的问题，提出了深度学习草图图像检索方法。但现有的深度学习方法仍面临两个挑战：(1)草图和自然图像包含具有相似轮廓形状的不同对象。一些深度学习草图检索方法不能捕捉草图和自然图像之间重要的辨别域，导致信息冗余问题，最终影响草图图像检索的性能；(2)排序信息与检索结果密切相关。在草图检索任务的哈希码学习过程中，现有的方法忽略了对排序信息的利用，导致性能不理想。

发明内容

本发明针对现有技术的不足，提供一种基于排序聚类序列辨别选择的草图图像检索方法及系统，充分利用区分区域和排序信息来执行哈希码学习，首先绘制查询草图并选择辨别区域，同时利用排序信息来聚合相同类别的样本，通过这样做，可以了解样本在其他模态下应该是什么样子。最后利用哈希码来执行草图图像的检索。

本发明的方法所采用的技术方案是：一种基于排序聚类序列辨别选择的草图图像检索方法，首先构建草图图像检索网络，然后利用所述草图图像检索网络进行草图图像检索；

所述构建草图图像检索网络，具体实现包括以下步骤：

步骤1：构建草图图像检索网络；

所述草图图像检索网络，包括transformer分割模块、线性投影模块、transformer编码模块；

所述transformer分割模块，用于将输入图像分成M个2D小块图像x_p，每幅图像的大小是H×W，图像中每个小块图像的大小是P×P，

所述线性投影模块，用于将所述transformer模块输出的小块图像映射到D维度，将可学习的位置嵌入添加到小块图像嵌入中，用以保存位置信息；其中，嵌入向量记为z₀，位置零的输出是D维类令牌x_class；

所述transformer编码模块，用于通过送入transformer编码模块的z₀，挖掘序列中小块图像之间的关系；所述transformer编码模块包括L个transformer层和一个哈希层，每个transformer层包含多头自注意层MSA和Conv_1×1块，Conv_1×1块由带有1×1的卷积核的两个卷积层和一个全连接层；对于每一个transformer层，它的输入都是前一层的输出；第L层transformer输出输入哈希层，进行深度哈希函数学习，将输出的哈希码用于构建目标函数中的三元组项、类别级语义项和排序聚类项；

步骤2：获取现有草图图像数据集，将数据集划分为训练数据集、验证数据集和测试数据集；