[发明专利]一种融合特征转移与注意力机制的YOLOV4遥感目标检测方法

权利要求书

1.一种融合特征转移与注意力机制的YOLOV4遥感目标检测方法，其特征在于：该方法包括以下步骤：

S1)，通过Mosaic数据增强方法对遥感数据集进行处理，丰富遥感目标信息；

S2)，构建融合特征转移和注意力机制的YOLOV4遥感目标检测模型；

S3)，将所述处理得到的遥感图像数据集输入到上述模型进行训练；

S4)，预处理待检测遥感图像，将遥感图像的尺寸统一到同一大小；

S5)，将处理后的遥感图像输入到训练好的目标检测模型进行检测，输出检测结果即待检测图像中遥感目标的边界框位置以及目标类别。

2.根据权力要求1所述的融合特征转移与注意力机制的YOLOV4遥感目标检测方法，其特征在于：所述步骤S1中，具体包括：

步骤S11)读取训练用遥感图像，将得到的图像转换为RGB图像，同时调整图像到统一大小。需要将图像尺寸统一到32整数倍大小，如416X416。

步骤S12)对上述图像进行随机翻转，图像色域进行随机变换，同时根据前面处理结果调整训练图像真实边界框到相应位置。

步骤S13)通过Mosaic方法处理训练用遥感图像，即随机选取四张图像进行分割，对分割后的图像进行重新组合。

3.根据权力要求1所述的融合特征转移与注意力机制的YOLOV4遥感目标检测方法，其特征在于：所述的步骤S2中，包括了目标检测网络的搭建，涉及到特征提取网络的构建，并行注意力模块的构建以及语义增强的PANet和特征转移模块的构建，具体步骤如下：

步骤S21)本发明遥感目标检测网络特征提取网络选用CSPDarkNet53,该网络通过堆叠跨级连接的残差网络实现，具有更强大的特征提取能力。CSPDarkNet53的基本结构为跨级残差块CPSX以及CBM，跨级残差块分为两个部分，其中所述的第一个部分直接进行残差块堆叠得到，所述的第二个部分作为残差边，经过卷积运算处理后与所述第一个部分进行堆叠。

步骤S22)所述的并行注意力机制由两个部分构成，第一个部分是改进的高效通道注意力机制模块。在卷积神经网中，每个特征图都具有偏重特性，不同的通道可以捕获不同的特征，对于卷积神经网络而言，不同通道层次的特征图对于具体任务的贡献率也不同，而通道注意力机制可以衡量不同通道的重要性。本发明所述的注意力机制根据以下计算步骤，输出最终的注意力加权特征图：

(1)，分别通过全局平均池化以及全局最大池化得到两组关于通道的特征值，将得到的两组特征值输入自适应一维卷积继而分别能进一步得到两组注意力权值。

X₁＝Conv1d(GAP(X))

X₂＝Conv1d(GMP(X))

X为输入的特征图，GAP与GMP分别表示全局平局池化和全局最大池化，Conv1d表示自适应一维卷积，其卷积核个数k由以下公式确定：

C指输入特征图通道个数，|t|_odd表示距离t最近的奇数，而b和γ分别取2和1。

(2)，将上述得到的特征图进行逐像素相加，得到特征权值X_s。

(3)，用sigmoid激活函数激活得到的特征值，将各特征归一化至0到1之间。

(4)，得到通道注意力注意力权重后，通过对应权重大小对输入特征图通道进行重新加权，得到最后注意力加权的特征图X_o。

所述的并行注意力机制的第二个部分是空间注意力部分，对于输入的特征图，在二维空间层次上，各特征点对于特征表达的贡献度也不相同，空间注意力机制可以捕获二维空间上不同像素点的重要性。本发明的空间注意力计算步骤包括以下几个部分：

(1)，通过分别对输入特征图X的二维空间对应的通道方向上求最大值和平均值可以分别得到两个通道数为1的特征图。

X₁＝mean_C(X)

X₂＝max_C(X)

其中的mean_C和max_C分别表示对输入特征图求通道方向平均值和最大值。

(2)，将得到的两组特征图进行堆叠得到特征图X_c。

X_c＝cat(X₁,X₂)

其中cat表示将特征图按照通道方向堆叠操作。

(3)，将上一步得到的特征图输入到一个3X3大小的卷积核做卷积运算，得到特征图X_c′。

X_c′＝Conv2d_3X3(X_c)

(4)，将上述步骤得到的空间特征权值进行概率化，通过softmax函数生成空间注意力特征权值，其各特征点X_i′_j计算方式为：

其中的X_ij表示输入特征X_c′空间上的各个特征点。

(5)，在得到空间注意力特征权重后，用对应的空间注意力特征权值对输入特征图进行空间特征加权，各特征点组合得到加权后的特征X_os。

所述的并行注意力特征图X_out由上述两个部分的注意特征图逐像素相加得到。

步骤S23)所述的语义信息增强的PANet的构建步骤如下：

(1)，将上述处理过的遥感图像输入到主干网络，在主干网络最终3个有效特征层上，特征图分别下采样至输入特征的1/8，1/16，1/32。记特征图分别为O1，O2，O3。

(2)，将所述的O3经过上采样，同时经过5次卷积处理后与O2按通道方向拼接得到O2′。将O2′同样经过上采样以及5次卷积后与O1通道方向融合得到O1′。

(3)，将1得到的O3经过上采样后，通过CBLGS模块得到特征值。所述的CGLBS模块分别包括为1X1卷积，批量归一化，LeakyRelu激活函数，全局平均池化以及Sigmoid激活函数。将得到的特征值与O2′相乘后再进行逐像素相加得到O2″，依照同样的方式可以得到O1″。

(4)，将所述的O1″通过下采样，并通过5次卷积后与O2″按通道方向进行融合得到O2″′；将O2″′下采样后与O3按通道方向融合得到O3′。

(5)，所述的语义信息增强的PANet输出的3个特征层C3,C4,C5由以下方式得到：

步骤S24)特征转移用于接收PANet输出特征，做特征重构，具体包括：

(1)，C4通过CUGS模块后，与C3进行逐像素相乘再相减得到输出的检测特征P3。其中CUGS模块分别包括了1X1卷积，上采样，全局最大池化，以及Sigmoid激活函数。

(2)，将C4通过CMGS模块后，与C5进行逐像素相乘后在相加，得到最后的输出P5。CMGS模块分别包括了1X1卷积,2X2最大池化，全局最大池化以及Sigmoid激活函数。最终的特征转移模块输出得到P3,P4,P5。

P4＝C4