[发明专利]一种基于跨层注意力机制特征融合的目标检测方法及系统

权利要求书

1.一种基于跨层注意力机制特征融合的目标检测方法，其特征在于，所述方法包括以下步骤：

S100，获取输入的图像；

S200，通过预训练好的基础网络对输入的图像进行特征提取；

S300，在基础网络的各个阶段产生不同空间分辨率和通道数量的特征图；

S400，使用跨层注意力特征金字塔网络来对基础网络各个阶段得到的特征图进行跨层融合；

S500，在输出的多个特征图上分别进行目标的分类和回归，实现目标的检测。

2.根据权利要求1所述的一种基于跨层注意力机制特征融合的目标检测方法，其特征在于，在S400中，跨层注意力特征金字塔网络的构建方法为：使用跨空间和尺度的交互方式，包括自级、自上而下、自下而上三种交互方式，对于三种交互方式输出的特征图，对其进行重排分组，将同一尺度的特征图归为一组，并对每组特征图采用自适应特征融合的方法进行特征融合得到一张特征图，其中自适应特征融合可以学习不同特征图之间的联系，搜索最优融合；最后，多张融合后的特征图构成跨层注意力特征金字塔网络。

3.根据权利要求1所述的一种基于跨层注意力机制特征融合的目标检测方法，其特征在于，在S400中，跨层注意力特征交互主要由三个部分组成：自级注意力模块、自上而下注意力模块、自下而上级注意力模块。

4.根据权利要求1所述的一种基于跨层注意力机制特征融合的目标检测方法，其特征在于，在S400中，自级注意力模块分为两个部分：局部分组自注意力LSA和全局子采样自注意力GSA。

5.根据权利要求4所述的一种基于跨层注意力机制特征融合的目标检测方法，其特征在于，局部分组自注意力LSA包括以下步骤：

对于输入的2维特征图，将特征图划分成m×n个子窗口，接着在每个子窗口内进行以下步骤：对于在每个子窗口，形成三个向量Q、K、V；

通过公式得到特征图F_i。

其中，Q、K、V为分别选取子窗口的图像矩阵中灰度值之和的值最大的一行、灰度值之和的值最小的一行、图像矩阵中间位置的一行形成三个向量Q、K、V。

6.根据权利要求5所述的一种基于跨层注意力机制特征融合的目标检测方法，其特征在于，全局子采样自注意力GSA包括以下步骤：

首先对特征图F_i其进行卷积操作得到特征图F′_i；

构建三个向量Q1、K1、V1，其中，Q1是来源于F_i的向量，K1和V1是来源于F′_i的向量；最后，将Q1、K1、V1通过公式得到最终的特征图P_i；

其中，Q1、K1、V1为分别选取特征图F′_i的图像矩阵中灰度值之和的值最大的一行、灰度值之和的值最小的一行、图像矩阵中间位置的一行形成三个向量Q1、K1、V1。

7.根据权利要求6所述的一种基于跨层注意力机制特征融合的目标检测方法，其特征在于，自上而下注意力模块执行包括以下步骤：

选取2个特征图作为高层粗粒度的特征图C_c和低层细粒度特征图C_f；

在低层细粒度特征图C_f进行局部分组自注意力LSA，即把C_f划分m×n个窗口，并且在每个子窗口内进行局部分组自注意力LSA，得到特征图F_f；

对高层粗粒度特征图C_c进行卷积操作得到特征图F_c，构建三个向量Q、K、V，Q是来源于F_f的向量，K和V是来源于F_c的向量，将Q、K、V通过公式得到最终的特征图P_f。