[发明专利]一种基于注意力机制的手绘草图识别方法

权利要求书

1.一种基于注意力机制的手绘草图识别方法，其特征在于，包括如下步骤：

将原始手绘草图输入到深度卷积神经网络中，得到最后一个卷积层输出的原始特征图；

将所述原始特征图输入到通道注意力模块中，得到基于通道注意力优化后的特征图；

训练用于预测手绘草图垂直翻转的分类网络，将所述原始手绘草图输入到所述分类网络中，得到垂直翻转空间注意力图；

联合所述基于通道注意力优化后的特征图和所述垂直翻转空间注意力图，计算得到垂直翻转空间注意力优化后的特征图；

将所述垂直翻转空间注意力优化后的特征图输入全局平均池化层和全连接层，最终得到所述原始手绘草图上的识别结果；

将原始手绘草图输入到一个深度卷积神经网络中，得到最后一个卷积层输出的原始特征图，包括：

采用残差网络作为特征提取的主干网络，将所述原始手绘草图输入到所述残差网络中，提取最后一个卷积层Conv5输出的原始特征图，其中，、、分别为所述原始特征图的宽、高和通道维度；

将所述原始特征图输入到通道注意力模块中，得到基于通道注意力优化后的特征图，包括：

a) 在所述原始特征图上进行平均池化和最大池化操作，分别得到维度为的特征向量和；

b) 将所述特征向量和分别输入到一个卷积核大小为的卷积层中，并将通道维度降为，其中设置为16，接着采用ReLU函数对降维后的特征向量进行激活，继而输入到另一个卷积核大小为的卷积层中，并将通道维度恢复到，分别得到新的特征向量和，计算公式如下：

其中，与分别为两个所述卷积核大小为的卷积层的参数；

c) 对所述新的特征向量和进行求和操作，接着采用Sigmoid函数进行激活，得到通道注意力图，计算公式如下：

其中，表示Sigmoid激活函数，是求和操作；

d) 基于所述特征图与所述通道注意力图，采用如下公式计算得到基于通道注意力优化后的特征图：

其中，表示矩阵相乘操作。

2.根据权利要求1所述的基于注意力机制的手绘草图识别方法，其特征在于，训练用于预测手绘草图垂直翻转的分类网络，将所述原始手绘草图输入到所述分类网络中，得到垂直翻转空间注意力图，包括：

a)对TU-Berlin手绘草图数据集中的每一张手绘草图进行垂直翻转操作，得到垂直翻转后的草图；将未垂直翻转的手绘草图标签设置为0，所述垂直翻转后的手绘草图标签设置为1，从而构建含有所述未垂直翻转和所述垂直翻转后的手绘草图的二类数据集；选择残差网络作为分类器，在所述二类数据集上训练用于预测手绘草图垂直翻转的分类网络；

b) 将所述原始手绘草图输入到所述分类网络中，输出预测的类别标签t，并提取最后一个卷积层输出的特征图，其中，定义所述特征图中单一通道上的特征图为，，通过如下方式计算得到垂直翻转空间注意力图：

其中，表示乘法操作，，为全连接层中对应于第个通道中第个类别的权重。

3.根据权利要求2所述的基于注意力机制的手绘草图识别方法，其特征在于，联合所述基于通道注意力优化后的特征图和所述垂直翻转空间注意力图，计算得到垂直翻转空间注意力优化后的特征图，包括：

在得到所述基于通道注意力优化后的特征图与所述垂直翻转空间注意力图后，采用如下方式计算得到垂直翻转空间注意力优化后的特征图：

。