[发明专利]一种基于通道注意力的空间注意力计算方法

说明书

本发明公开了一种基于通道注意力的空间注意力计算方法，涉及深度卷积神经网络技术领域，设计通道注意力模块前向推导出通道注意力图和通道细化特征图。本发明根据通道注意力图，双分支空间注意力模块将通道细化特征图的通道分组，分为重要通道和次重要通道。这使得空间注意力和通道注意力有机地联系起来。接着将分好的通道组进行一系列的非线性操作，进而获得一个二维空间注意力图。本发明使得空间注意力和通道注意力紧密有机的联系起来，便于嵌入到目前任意主流的深度卷积神经网络中，提升网络模型的性能表现。

技术领域

本发明涉及深度卷积神经网络、通道注意力以及空间注意力技术领域，尤其是一种基于通道注意力的空间注意力计算方法。

背景技术

在过去的几年里，许多学者都热衷于探索更深的神经网络来提升模型在视觉任务上的性能表现。然而，随着神经网络层数的加深，其在图像分类，目标检测等视觉任务上的精度并没有显著提升，即网络性能表现的提升幅度与网络层数的加深程度并不是正比关系。

在生物医学界有研究者发现，在人类视觉系统中，注意力机制在获取重要信息方面发挥着重要作用。受到这种现象的启发，许多学者尝试着在深度卷积神经网络中结合注意力机制来提升模型性能。在这些学者的工作中，其中最具代表性的就是2017年由Hu etal.提出的Squeeze-and-Excitation(SENet)。该注意力模块针对特征图的通道维度进行关键特征的加强，进而在图像分类任务上提升模型性能表现。SENet是一个较轻量化嵌入式注意力模块，该模块可以嵌入当前任意主流的深度卷积网络架构中。在SENet模块基础上，2020年由Wang et al.提出了Efficient Channel Attention(ECA)。该模块采用一维卷积代替了原SENet中的全连接层，使得通道注意力的推导速度大幅提升，并且克服了通道降维带来的精度损失。

SENet和ECA模块均揭示了特征图通道之间的关系，但是二者都没有考虑空间注意力的重要性，即没有考虑特征图在空间维度上的关键特征加强。空间注意力是对特征图的关键像素的加强。2018年由Woo et al.提出了Convolutional Block Attention Module(CBAM)。该注意力模块是首个考虑同时使用通道注意力和空间注意力的模块，以顺序连接的方式连接了通道注意力子模块和空间注意力子模块，即先通过通道注意力模块进行通道维度上关键特征的加强，再通过空间注意力模块进行空间维度上关键特征的加强。然而，在CBAM模块中的空间注意力子模块并没有和通道注意力子模块有机的结合，即空间注意力依然将重要通道和次重要通道放在一起进行池化操作。这会使得特征图中原关键特征随着平均池化操作减弱，进而使得网络模型的性能表现没有得到充分发挥。

发明内容

本发明需要解决的技术问题是提供一种基于通道注意力的空间注意力计算方法，提出的通道分离技术，使得空间注意力和通道注意力紧密有机的联系起来，便于嵌入到目前任意主流的深度卷积神经网络中，提升网络模型的性能表现。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于通道注意力的空间注意力计算方法，包括以下步骤：

步骤1：获取通道注意力图和通道细化特征图；

步骤2：对对步骤1中得到的通道细化特征图的通道进行分组，将通道细化特征图的通道分为重要特征和次重要特征；

步骤3：对步骤2中得到的重要特征和次重要特征均进行通道轴方向的平均池化和最大池化操作；将各自的两种池化结果进行特征聚合；

步骤4：将步骤3中得到的聚合后的结果经过一层共享卷积层，进而生成一对空间特征描述符；

步骤5：对步骤4中获得的这对空间特征描述符进行非线性操作，即经过BN层和ReLU层；

步骤6：将步骤5中得到的这两个空间特征描述符进行通道维度上的聚合，再经过一层卷积层，进而获得空间注意力描述子；