[发明专利]一种鬼影方位视觉注意力学习方法

说明书

本发明提供一种鬼影方位视觉注意力学习方法。现有方位视觉注意力学习方法依赖卷积运算进行维度变换以及方位信息学习，计算和参数代价都较高。为此，本发明将轻量的鬼影模块耦合到方位视觉注意力学习方法中，设计降维鬼影模块轻量化压缩特征映射图，随后进行方位信息学习以节约计算和参数代价；设计去冗余鬼影模块降低特征映射图中的冗余信息，能改善特征质量。本发明作为一种新颖的视觉注意力机制有广泛应用，例如图像目标检测、图像目标识别、图像分割等。

技术领域

本发明涉及机器视觉、图像视频应用领域，特别涉及一种鬼影方位视觉注意力学习方法。

背景技术

视觉注意力机制能够抑制输入特征图中的不相关区域，同时突出重点区域的特征，能够有效提升神经网络的特征学习能力，但是使用注意力机制往往会增加模型计算量，拖慢运行速度。例如，方位注意力学习机制中采用多个卷积分支学习横纵方向上的长距离依赖关系，即方位融合信息，由于多次使用卷积模型参数和计算量耗费巨大。

发明内容

本发明提供一种鬼影方位视觉注意力学习方法，利用轻量化的鬼影模块高效率地融合方位信息并减少特征中冗余信息，提高模型特征的学习能力。如图1所示，所述方法包括：

步骤1、轻量化鬼影方位信息学习，设计降维鬼影模块实现轻量化的纵向和横向方位信息学习。

如图2所示，所设计的降维鬼影模块具体做法是：

步骤1.1、对输入特征图X进行特征降维，获得输出特征图F₁，计算如公式(1)所示：

其中，表示卷积运算，W为I×J×1×1大小的卷积核，其中I和J＝MAX(8,I/32)分别表示输入X的通道数量，输出F₁的通道数量；

步骤1.2、对步骤1.1得到的输出特征图F₁逐个通道进行轻量的线性运算得到F₂，其计算如公式(2)所示：

F₂＝[Φ₁(F₁¹),Φ₂(F₁²),...,Φ_n(F₁ⁿ)], n＝1,...,J (2)

其中，F₁ⁿ表示F₁中第n个通道上的特征图，Φ_n表示对F₁ⁿ进行线性运算；

步骤1.3、拼接步骤1.1得到的输出特征图F₁和步骤1.2得到的输出特征图F₂，得到通道数量为2J的输出特征图Y，计算如公式(3)所示：

Y＝Concat(F₁,F₂) (3)

其中，Concat表示沿通道维度的拼接操作。

步骤2、轻量化鬼影特征去冗余，设计去冗余鬼影模块减少输入特征图冗余，提升特征质量。

如图3所示，所设计的去冗余鬼影模块具体做法是：

步骤2.1、将输入特征图X进行特征转换，获得特征图G₁，计算公式如公式(4)所示：

其中，表示卷积运算，Ω为大小的卷积核，I为X的通道数量，G₁的通道数量则为X的一半；

步骤2.2、对步骤2.1得到的输出特征图G₁逐个通道进行轻量的线性运算得到G₂，其计算公式如公式(5)所示：