[发明专利]基于增强注意力的细粒度手绘草图图像检索方法

说明书

本发明属于跨媒体检索技术领域，具体为基于增强注意力的细粒度手绘草图图像检索方法。本发明提出一种深度细粒度手绘草图图像检索FG‑SBIR模型，使用不同的注意力机制来进一步关注草图和图像之间的细粒度细节。新模型不仅关注草图和图像两种模态之间的相关性信息，同时也关注单一模态内的区别性信息。本发明提出互损失方法，以增强传统的三元组损失，并提高模型在单一模态内部细粒度特征的辨别能力。对于给定查询草图，本发明可返回其在特定类别中具有细粒度实例级相似性的相关图像，满足细粒度手绘草图图像检索的实例级检索严格要求。

技术领域

本发明属于跨媒体检索技术领域，具体涉及基于增强注意力的细粒度手绘草图图像检索方法。

背景技术

如今，移动设备无处不在，人们在屏幕上绘制草图变得越来越方便。特别是当搜索特定图像时，人们需要给出较长的文字描述，但实际上他们也可绘制一个包含细粒度视觉特征的草图来表达检索需求。因此，细粒度手绘草图图像检索(Fine-grained Sketch-based Image Retrieval,FG-SBIR)引起学者广泛的研究兴趣。近年来，虽然在该领域已经取得丰硕的研究成果，但其仍然面临许多挑战性问题，需要开展更深入的研究工作来获得更好的解决方案。这些挑战性问题包括，如何缩小来自不同模态的草图和图像之间的语义差异；如何在细粒度级别上建立草图和图像之间的对应关系等。与图像相比，草图较为抽象，其主要由线条轮廓组成。对于给定的一张查询草图，可能会检索出多幅图像在视觉上与其相似，然而实际上在这些图像中可能只有一幅与查询草图在细节方面更为接近，即细粒度的细节信息可有助于找到唯一正确的图像。

当前的FG-SBIR模型主要集中在如何缩小草图和图像之间的语义差异。现有的研究通常采用包含三个分支的深度神经网络框架，并使用三元组损失来迫使模型区分草图和图像之间的细微差别。但除DSSA模型引入空间注意力机制来处理这些细节，其他的大部分研究工作很少关注细粒度的细节信息。

综上，本发明提出一种新颖的FG-SBIR模型。通过使用不同的注意力机制，使得模型更加关注草图和图像的细粒度细节。本发明引入“残差通道注意力机制(ResidualChannel Attention)”和“局部自我空间注意力机制(Local Self-spatial Attention)”，以重点关注重要的特征并抑制不必要的特征。本发明还使用Transformer机制来建立草图和图像空间序列之间的关系。此外，由于三元组损失主要关注两个模态之间的距离关系，忽略单个模态内部之间的关系，因此，本发明特别提出互损失(Mutual Loss)来解决该问题。

发明内容

本发明解决的问题包括：现有手绘草图图像检索模型在手绘草图图像检索结果中检索出的图像准确率较低；检索出的图像与查询草图中目标对象不一致；缺乏对单一模态内部关系的研究。为此，本发明提供基于增强注意力的细粒度手绘草图图像检索方法。

本发明提供的基于增强注意力的细粒度手绘草图图像检索方法(FG-SBIR)，包括：(1)在低层和高层同时引入改进的空间注意力机制和通道注意力机制，以克服其固有的缺陷并增强模型的鲁棒性；(2)使用Transformer机制来增强模型构造空间序列信息的能力；(3)提出互损失(Mutual Loss)以改善传统的三元组损失并增强单一模态内部的判别能力；

本发明所提出的方法目标集中在为草图与图像构建深度表示上，并学习跨越两个模态的深层关联。因此，对于给定的查询草图，模型可返回其在特定类别中具有细粒度实例级相似性的相关图像，满足FG-SBIR实例级检索的严格要求。本发明在目前可用于FG-SBIR领域研究的最大公开数据集——Sketchy上取得优异的性能表现。

本发明提供的基于增强注意力的细粒度手绘草图图像检索方法，具体步骤如下。

(1)通过在线采样，生成训练用三元组样本；