[发明专利]一种基于注意力机制的手绘草图识别方法

说明书

本发明公开了一种基于注意力机制的手绘草图识别方法，该方法包括将原始手绘草图输入到一个深度卷积神经网络中，得到最后一个卷积层输出的特征图；将特征图输入到一个通道注意力模块中，得到基于通道注意力优化后的特征图；训练一个用于预测手绘草图垂直翻转的分类网络，将原始手绘草图输入到训练好的分类网络中，得到垂直翻转空间注意力图；联合基于通道注意力优化后的特征图和垂直翻转空间注意力图，计算得到垂直翻转空间注意力优化后的特征图；最后经过全连接层输出识别的结果。本发明的优点：采用通道注意力和垂直翻转空间注意力对卷积神经网络的特征进行优化，能够使网络关注于学习更有判别力的部分，从而有效提高手绘草图的识别精度。

技术领域

本发明属于计算机视觉领域，涉及手绘草图分类任务，尤其涉及一种基于注意力机制的手绘草图识别方法。

背景技术

手绘草图可以看作是二维平面上的抽象形式，既展现出所要表达的信息，又包含着无穷的想象空间。它能够方便地用于描绘物体或场景、勾勒故事情节、设计产品或建筑等，在绘画、设计类的工作中应用十分广泛，比如漫画制作、城市规划设计、建筑构图、工业设计及服装设计等。手绘草图识别的相关技术能够应用于计算机视觉的多个领域中，如图像检索和生成、3D 图形检索和重建等，因而近些年来得到了越来越多的关注。

相比于一般的物体识别任务，手绘草图识别有一个主要的不同点在于手绘草图缺少突出的颜色和纹理信息。此外，手绘草图的线条还存在着明显的形状上的变化以及描绘物体时具有高度的抽象性，这使得手绘草图的识别任务具有极大的挑战性。早期的手绘草图识别研究主要关注于在传统的物体识别框架下设计手工的特征，尽管取得了一定的成果，但是识别的性能仍然存在着非常大的提升空间。近些年来，基于深度学习的方法被广泛应用于手绘草图的识别任务中。然而，由于手绘草图的高度抽象性使得难以对手绘草图进行有效地建模，这使得CNN等深度网络模型在手绘草图上的识别精度急剧下降。

发明内容

本发明实施例的目的是提供了一种基于注意力机制的手绘草图识别方法，以有效地提高现有方法在手绘草图识别上的精度。

为了达到上述目的，本发明所采用的技术方案如下：

本发明提供一种一种基于注意力机制的手绘草图识别方法，包括：

将原始手绘草图输入到一个深度卷积神经网络中，得到最后一个卷积层输出的特征图；

将特征图输入到一个通道注意力模块中，得到基于通道注意力优化后的特征图；

训练一个用于预测手绘草图垂直翻转的分类网络，将原始手绘草图输入到训练好的分类网络中，得到垂直翻转空间注意力图；

联合基于通道注意力优化后的特征图和垂直翻转空间注意力图，计算得到垂直翻转空间注意力优化后的特征图；

将优化后的特征图输入全局平均池化层和全连接层，最终得到手绘草图的识别结果。

进一步地，将原始手绘草图输入到一个深度卷积神经网络中，得到最后一个卷积层输出的特征图，包括：

将所述原始手绘草图输入到所述残差网络中，得到最后一个卷积层Conv5输出的特征图，其中，、、分别为所述特征图的宽、高和通道维度。

进一步地，将特征图输入到一个通道注意力模块中，得到基于通道注意力优化后的特征图，包括：

在所述特征图上进行平均池化和最大池化操作，分别得到维度为的特征向量和；

将所述特征向量和分别输入到一个卷积核大小为的卷积层中，并将通道维度降为，其中设置为16，接着采用ReLU函数对降维后的特征向量进行激活，继而输入到另一个卷积核大小为的卷积层中，并将通道维度恢复到，分别得到新的特征向量和，计算公式如下：