[发明专利]基于特征增强的多类别光学图像旋转目标自适应检测方法

权利要求书

1.一种基于特征增强的多类别光学图像旋转目标自适应检测方法，其特征在于，包括如下步骤：

(1)获取训练样本集和测试样本集：

(1a)获取包括M个旋转目标类别的T幅大小为N×N的光学图像H＝{H₁,H₂,…,H_t,…,H_T}，每幅光学图像H_t至少包含K个旋转目标，并通过标注框对每幅光学图像H_t中的每个旋转目标进行标注，将标注框中心的水平坐标x和垂直坐标y、标注框的长l和宽w、标注框的长边与水平方向的逆时针夹角θ作为H_t中每个旋转目标的边界框位置标签，将标注框内目标的类别c作为H_t中每个目标的类别标签，c∈{1，2，…，M}，其中，M≥2，T≥20，H_t表示第t幅光学图像，K≥2；

(1b)以l_step为滑动步长，并通过大小为n×n的滑窗将每幅光学图像H_t裁剪为P个光学子图像H′_t＝{H′_t1,H′_t2,…,H′_ts,…,H′_tP}，得到裁剪后的光学图像集合H'＝{H′₁,H′₂,…,H′_t,…,H′_T}，其中，H′_ts表示H_t裁剪得到的第s个光学子图像；

(1c)通过光学子图像H′_ts中目标相对于H_t中目标的水平偏移量x_diff和垂直偏移量y_diff，计算图像H′_ts中目标的水平坐标x'＝x-x_diff和垂直坐标y'＝y-y_diff，并将图像H′_ts中目标的标注框中心的水平坐标x'和垂直坐标y'、标注框的长l和宽w、标注框的长边与水平方向的逆时针夹角θ作为H′_ts中目标的边界框位置标签，图像H′_ts中目标的标注框的类别c作为H′_ts中目标的类别标签；

(1d)对H′_t中包含旋转目标的光学子图像集合H″_t中的每个光学子图像分别进行镜像翻转和随机角度扰动的数据增强，得到数据增强后的光学子图像集合H″′_t，并将H″_t和H″′_t构成的光学子图像集合以及中每个光学子图像的标签作为训练样本集，将从裁剪后的光学子图像集合H'中随机抽取的R×P幅裁剪后的光学子图像集合H^*以及H^*中每个光学子图像的标签作为测试样本集，其中，

(2)构建基于特征增强的光学图像旋转目标检测网络模型：

构建包括顺次连接的主干网络和检测网络的光学图像旋转目标检测网络模型，其中：主干网络包括顺次连接的特征提取子网络和特征增强子网络；特征提取子网络包括5个卷积层和26个block块，具体结构为：第一卷积层、第一至第二block、第二卷积层、第三至第六block、第三卷积层、第七至第十四block、第四卷积层、第十五至第二十二block、第五卷积层和第二十三至第二十六block；每个block包含顺次连接的卷积层block_c1和卷积层block_c2，block_c1的卷积核尺寸为1×1，block_c2的卷积核尺寸为3×3，卷积步长均为1，激活函数均为ReLU函数；block块包括顺次连接的两个卷积层和一个残差连接层；特征增强子网络包含顺次连接的一个上采样层和block1块；特征增强子网络包括顺次连接的一个上采样层和block1，block1包含6个卷积层，该6个卷积层被分为并行排布的三组：第一组包括顺次连接的block_c1、block_c2、block_c2，第二组包括顺次连接的block_c1、block_c2，第三组包括block_c1；

检测网络包括并行连接的定位子网络和分类子网络；定位子网络包含顺次连接的卷积层、全连接层和先验框层；分类子网络包含顺次连接的卷积层和全连接层；

(3)对基于特征增强的光学图像旋转目标检测网络模型进行迭代训练：

(3a)初始化迭代次数为w，最大迭代次数为W，W≥10000，并令w＝1；

(3b)将从训练样本集随机选取的b个训练样本作为光学图像旋转目标检测网络模型的输入进行前向传播，主干网络中的特征提取子网络对每个训练样本的所有目标进行特征提取，特征增强子网络对特征提取子网络所提取的特征进行合并后，对合并后的特征进行卷积融合，得到融合后的语义特征和位置特征，检测网络中的定位子网络利用融合后的位置特征计算目标预测边界框，分类子网络利用融合后的语义特征计算目标预测类别，其中，b≥10；

(3c)定位子网络采用Smoothl1函数，并通过目标的预测边界框和目标的边界框位置标签计算目标的位置损失值L₁，分类子网络采用交叉熵函数，并通过目标的预测类别置信度和目标的类别标签计算目标的类别置信度损失值L₂，然后采用随机梯度下降法，并通过L₁与L₂的和对主干网络和检测网络中的卷积核权重参数ω^w和全连接层结点之间的连接权重参数θ^w进行更新；

(3d)判断w＝W是否成立，若是，得到训练好的基于特征增强的光学图像旋转目标检测网络模型，否则，令w＝w+1，并执行步骤(3b)；

(4)获取光学图像旋转目标的自适应检测结果：

(4a)将测试样本中的每幅光学子图像作为训练好的基于特征增强的光学图像旋转目标检测网络的输入，进行目标的边界框位置和目标的类别置信度检测，得到中所有目标的边界框位置和类别置信度，并滤除目标类别置信度中低于置信度阈值λ的目标边界框位置和类别置信度，得到过滤后的目标边界框位置和类别置信度，然后通过旋转目标的非极大值抑制RNMS方法对同一目标重复检测的边界框位置的目标的边界框和类别置信度进行过滤，得到的过滤后的目标边界框和类别置信度；

(4b)对测试样本中的每幅光学子图像进行l₁倍缩小和l₂倍放大，并将缩小后的光学子图像和放大后的光学子图像作为训练好的基于特征增强的光学图像旋转目标检测网络的输入，进行目标的边界框位置和目标的类别置信度检测，得到和中所有目标的边界框位置和类别置信度，并滤除目标类别置信度中低于置信度阈值λ的目标边界框位置和类别置信度，得到过滤后的目标边界框位置和类别置信度，然后通过旋转目标的非极大值抑制RNMS方法对同一目标重复检测的边界框位置的目标的边界框和类别置信度进行过滤，得到的过滤后的目标的边界框和类别置信度，以及的过滤后的目标的边界框和类别置信度；

(4c)对和中的过滤后的目标边界框位置和类别置信度进行合并，并通过RNMS方法对同一目标重复检测的边界框位置的目标的边界框和类别置信度进行过滤，得到所有目标的边界框位置和类别置信度，