[发明专利]一种基于注意力机制的图像分类方法

说明书

本发明涉及图像数据处理领域，公开了一种基于注意力机制的图像分类方法，包括基于离散余弦变换对特征图每个通道进行频率分解并用多个频率分量联合表示通道全局信息，然后计算通道注意力权重信息；对特征图各通道基于权重信息加权得到通道注意力机制，然后计算特征图每个像素的空间注意力权重，再对特征图各空间像素加权求和，以得到空间注意力机制；将通道注意力机制和空间注意力机制嵌入到ResNet，得到图像分类卷积神经网络，并进行训练。本发明在通道注意力中将多个频率分量结合可以更好地表示通道的全局信息；在空间注意力中采用自注意力机制获取特征图空间维度上的全局信息，可以获得比传统卷积实现的空间注意力更优的空间权重分配。

技术领域

本发明涉及图像数据处理领域，尤其涉及一种基于注意力机制的图像分类方法。

背景技术

本发明设计了一种基于卷积神经网络的图像分类方法，并在卷积神经网络中嵌入了一种新型的注意力机制。其中卷积神经网络的骨干部分用残差网络实现，注意力机制则包括通道注意力和空间注意力，因此相关的背景技术主要有3项：残差网络；通道注意力机制；空间注意力机制。

残差网络是一种以短路连接为特点的神经网络，短路连接指的是在神经网络中将不同深度的层的输出相加作为后续层的输入，这种连接方式一方面可以使网络更容易拟合复杂的函数，另一方面可以实现恒等映射，保证网络在深度加深的时候性能不会退化，从而可以训练更深的网络结构。由于残差网络具有良好的特征提取能力，许多与深度学习相关的任务，如目标检测、图像分类、视频理解等都将其作为特征提取的骨干网络。本发明中使用的残差网络是ResNet。

卷积神经网络每一层输出的特征图都包含多个通道，每个通道都会捕捉到输入图像中的一种视觉特征。对于包括图像分类在内的许多深度学习任务而言，输入图像中不同的视觉特征对分类任务的贡献大小不同。如果卷积神经网络能对重要的特征给予更多的关注度，就可以用有限的网络容量处理更复杂的学习任务。通道注意力机制便是通过对特征图不同通道赋予不同的权重，从而实现对不同视觉特征给予不同的关注度。主流的通道注意力机制一般是通过计算每个通道的全局信息，再基于全局信息对各通道的重要性进行建模，然后根据不同通道的重要性计算不同通道的权重，最后对不同通道进行加权，实现突出重要特征，抑制无关特征的目的。

卷积神经网络每一层输出的特征图都蕴含着一定的空间信息，特征图上的每个“像素”都对应着输入图像中的一块区域。当输入图像中某个区域出现某种视觉特征时，特征图中对应通道的对应“像素”会出现较大的激活值。因此特征图的不同空间位置可以反映输入图像不同空间位置上的特征。与通道注意力机制类似，输入图像中不同空间位置上的特征对于学习任务的重要程度不同，如果卷积神经网络能对图像中重要的区域给予更多的关注度，就可以用有限的网络容量处理更复杂的学习任务。空间注意力机制便是通过对特征图不同空间位置赋予不同的权重，从而实现对输入图像中不同区域给予不同的关注度。主流的空间注意力机制一般会先对特征图每个空间位置都计算其在通道维度上的全局信息，然后使用一个额外添加的卷积层来产生空间注意力分布图，该分布图每个像素都代表一个空间位置上的权重，最后利用空间注意力分布图对特征图不同空间位置进行加权，便可以实现突出图像中的重要区域的特征，弱化图像中的无关区域的特征的目的。

目前已经有许多图像分类方法通过将通道注意力机制和空间注意力机制嵌入神经网络来提升模型的分类效果。在现有的通道注意力机制中，提取全局信息常用的方法是全局平均池化或全局最大池化，但这两种方法都存在信息的丢失，无法充分提取一个通道的全局信息，导致通道注意力机制的权重分配方案并不是最优的，限制了卷积神经网络所提取特征的表达能力。

在现有的空间注意力机制中，常用普通的卷积层计算空间注意力分布，但受限于卷积核的大小，无法提取空间维度上的全局信息，导致空间注意力机制的权重分配方案不是全局最优的，同样会限制卷积神经网络所提取的特征的表达能力。

发明内容