[发明专利]一种基于特征自适应聚合的目标检测方法

权利要求书

1.一种基于特征自适应聚合的目标检测方法，其特征在于包括以下步骤：

第一步，构建基于特征自适应聚合的目标检测系统；目标检测系统由主特征提取模块、特征自适应聚合模块、辅助任务模块、主任务模块和后处理模块构成；

主特征提取模块与特征自适应聚合模块相连，主特征提取模块从输入图像提取多尺度特征，将包含多尺度特征的多尺度特征图发送给特征自适应聚合模块；主特征提取模块由一个DarkNet-53卷积神经网络和一个特征金字塔网络组成；DarkNet-53卷积神经网络是一个含有53层神经网络的轻量级主干网络，这53层神经网络分为5个串行子网络，用于提取图像的主干网络特征；特征金字塔网络从DarkNet-53卷积神经网络接收主干网络特征，经过上采样、特征提取、特征融合操作，得到包含多尺度特征的多尺度特征图，将多尺度特征图发送给特征自适应聚合模块；

特征自适应聚合模块与主特征提取模块、辅助任务模块和主任务模块相连，特征自适应聚合模块的功能是为辅助任务模块提供多尺度感知的高像素特征图，为主任务模块提供边界区域感知的高像素特征图和显著性区域感知的高像素特征图，提升目标检测系统的检测精度；特征自适应聚合模块由自适应多尺度特征聚合网络、自适应空间特征聚合网络和粗略框预测网络构成；自适应多尺度特征聚合网络由4个权重不共享的SE网络组成，4个SE网络分别记为第一、第二、第三、第四SE网络；从主特征提取模块的特征金字塔网络接收多尺度特征图，采用自适应多尺度特征聚合方法，对多尺度特征图进行通道自注意力增强、双线性插值上采样和尺度级别软权重聚合操作，得到多尺度感知的高像素特征图，将多尺度感知的高像素特征图发送给自适应空间特征聚合网络、粗略框预测网络和辅助任务模块；粗略框预测网络由两层3×3卷积和一层1×1卷积构成，从自适应多尺度特征聚合网络接收多尺度感知的高像素特征图，对多尺度感知的高像素特征图进行预测，得到粗略框预测位置，将粗略框预测位置发送给自适应空间特征聚合网络；自适应空间特征聚合网络由分类偏移量转换函数和回归偏移量转换函数的区域受限可形变卷积组成，从自适应多尺度特征聚合网络接收多尺度感知的高像素特征图，从粗略框预测网络接收粗略框预测位置，生成边界区域感知的高像素特征图和显著性区域感知的高像素特征图，将边界区域感知的高像素特征图和显著性区域感知的高像素特征图发送给主任务模块；

辅助任务模块与特征自适应聚合模块中的自适应多尺度特征聚合网络相连，辅助任务模块是一个角点预测网络，角点预测网络由两层3×3卷积、一层1×1卷积和sigmoid激活层组成，辅助任务模块从自适应多尺度特征聚合网络接收多尺度感知的高像素特征图，角点预测网络对多尺度感知的高像素特征图进行预测，得到角点预测热力图，用于目标检测系统训练中计算角点预测损失，辅助目标检测系统对角点区域的感知；辅助任务模块只在训练目标检测系统时使用，用于增强目标检测系统对物体角点位置的感知，使预测物体框的位置更准确；在训练后的目标检测系统对用户输入图像进行检测时，该模块直接丢弃；

主任务模块与自适应空间特征聚合网络、后处理模块相连，由精细框预测网络和中心点预测网络构成；精细框预测网络是一个一层1×1卷积层，从自适应空间特征聚合网络接收边界区域感知的高像素特征图，对边界区域感知的高像素特征图进行1×1卷积，得到精细框预测位置，将精细框预测位置发送给后处理模块；中心点预测网络由一个一层1×1卷积层和sigmoid激活层组成，从自适应空间特征聚合网络接收显著性区域感知的高像素特征图，对显著性区域感知的高像素特征图进行1×1卷积和激活，得到中心点预测热力图，将中心点预测热力图发送给后处理模块；

后处理模块是一个3×3池化层，与主任务模块中的精细框预测网络和中心点预测网络相连，从精细框预测网络接收精细框预测位置，从中心点预测网络接收中心点预测热力图，采用步长为1的3×3最大池化操作保留中心点预测热力图3×3范围内的预测最大值，提取出保留的预测最大值的位置，即峰值点，作为物体中心区域点位置；通过中心区域点位置找出精细框预测位置中对应的上、下、左、右四个方向距离，生成预测物体框位置，且该中心区域点位置所在的中心点类别即为物体预测的类别；后处理模块通过提取3×3范围内的峰值点抑制重叠伪框，减少假阳性预测框；

第二步，构建训练集、验证集和测试集，方法是：

2.1收集目标检测场景图像作为目标检测数据集，并对目标检测数据集中的每个目标检测场景图像进行人工标注，方法是：使用MS COCO公开的通用场景数据集或Cityscapes无人驾驶场景数据集作为目标检测数据集；即采用MS COCO数据集或Cityscapes数据集中的训练图像作为训练集、验证图像作为验证集、测试图像作为测试集；令训练集中图像总数为S，令测试集中图像总数为T，令验证集中图像总数为V，MS COCO和Cityscapes数据集的每张图像都进行了人工标注，即每张图像都以矩形框的形式标注了物体位置，并标注了物体的类别；

2.2对训练集中S张图像进行优化处理，包括翻转、裁剪、平移、亮度变换、对比度变换、饱和度变换、缩放、标准化，得到优化后的训练集D_t；

2.3根据优化后的训练集D_t，制作用于模型训练的任务真值标签；一共分为四个任务，分别是中心点预测任务、角点预测任务、粗略框预测任务和精细框预测任务，方法是：

2.3.1令变量s＝1；令优化后的训练集中的第s张图像有N_s个标注框，令N_s个标注框中的第i个标注框为令第i个标注框的标注类别为cⁱ，代表第i个标注框的左上角点坐标，代表第i个标注框的右下角点坐标，N_s为正整数，1≤i≤N_s；

2.3.2构建中心点预测任务的中心点预测真实值方法是：

2.3.2.1构建一个大小为的全零矩阵图H_zeros，C表示优化后的训练集的分类类别数量，该类别数量为目标检测数据集标注目标的类别数量，H是第s张图像的高，W是第s张图像的宽；

2.3.2.2令i＝1，表示第i个下采样4倍的标注框；

2.3.2.3将标注坐标除以4，记为下采样4倍的标注框；代表B_si′的左上、右上、左下、右下角点位置；

2.3.2.4采用二维高斯核生成方法，计算以B_si′的基点为二维高斯核的基点，方差为(σ_x,σ_y)的二维高斯核范围内的全部像素点的高斯值，得到第一高斯值集合S_ctr；具体方法为：

2.3.2.4.1令二维高斯核内像素点数量为N_pixel,N_pixel为正整数，令第一高斯值集合S_ctr为空；

2.3.2.4.2令p＝1，表示二维高斯核内像素点编号，1≤p≤N_pixel；

2.3.2.4.3第s张图像中以(x₀,y₀)为基点的高斯核范围内任意一个像素点(x_p,y_p)的二维高斯值K(x_p,y_p)为：

其中(x₀,y₀)是二维高斯核的基点，即二维高斯核中心，x₀为基点的宽方向的坐标值，y₀为基点的高方向的坐标值；(x_p,y_p)为基点(x₀,y₀)高斯核范围内的像素点，x_p为该像素点的宽方向的坐标值，y_p为该像素点的高方向的坐标；(x₀,y₀)和(x_p,y_p)均位于下采样4倍后的图像坐标系；表示二维高斯核在宽方向的方差，表示二维高斯核在高方向的方差，通过控制二维高斯核的宽、高方向的方差控制高斯核范围内点的数量；w表示B_si′在特征图尺度下的宽，h表示B_si′在特征图尺度下的高，α是决定中心区域位置占B_si′比例的参数；将(x_p,y_p)和计算得出的K(x_p,y_p)存入第一高斯值集合S_ctr中；

2.3.2.4.4令p＝p+1；若p≤N_pixel，转2.3.2.4.3；若pN_pixel，B_si′的高斯核内的坐标和二维高斯值已全部存入S_ctr中，S_ctr中有N_pixel个像素点及其对应的二维高斯值，转2.3.2.5；

2.3.2.5将S_ctr中的值赋值到H_zeros中；将S_ctr中的元素(x_p,y_p)和K(x_p,y_p)按照H_zeros[x_p,y_p,cⁱ]＝K(x_p,y_p)的规则赋值，cⁱ代表B_si′的类别编号，1≤cⁱ≤C且cⁱ为正整数；

2.3.2.6令i＝i+1；若i≤N_s，转2.3.2.3；若iN_s，说明第s张图像的N_s个下采样4倍的标注框生成的二维高斯值均已赋值到H_zeros中，转2.3.2.7；

2.3.2.7令第s张图像的中心点预测真实值

2.3.3构建角点预测任务的角点预测真实值方法是：

2.3.3.1构建一个大小为的全零矩阵“4”表示下采样4倍的标注框的角点数量4，也表示矩阵的4个通道；

2.3.3.2令i＝1，表示第i个下采样4倍的标注框；

2.3.3.3令二维高斯核的基点为B_si′的左上角点，坐标为采用2.3.2.4所述二维高斯核生成方法，计算以为二维高斯核的基点，方差为(σ_x,σ_y)的二维高斯核范围内的内全部像素点的高斯值，得到第二高斯值集合S_tl；

2.3.3.4将S_tl中的元素坐标和高斯值赋值到的第1个通道中，即按照的规则赋值；

2.3.3.5令二维高斯核的基点为B_si′的右上角点，坐标为采用2.3.2.4所述二维高斯核生成方法，计算以为二维高斯核的基点，方差为(σ_x,σ_y)的二维高斯核范围内的内全部像素点的高斯值，得到第三高斯值集合S_tr；

2.3.3.6将S_tr中的元素坐标和高斯值赋值到的第2个通道中，即按照的规则赋值；

2.3.3.7令二维高斯核的基点为B_si′的左下角点，坐标为采用2.3.2.4所述二维高斯核生成方法，计算以为二维高斯核的基点，方差为(σ_x,σ_y)的二维高斯核范围内的内全部像素点的高斯值，得到第四高斯值集合S_dl；

2.3.3.8将S_dl中的元素坐标和高斯值赋值到的第3个通道中，按照的规则赋值；

2.3.3.9令二维高斯核的基点为B′_si的右下角点，坐标为采用2.3.2.4所述二维高斯核生成方法，计算以为二维高斯核的基点，方差为(σ_x,σ_y)的二维高斯核范围内的内全部像素点的高斯值，得到第五高斯值集合S_dr；

2.3.3.10将S_dr中的元素坐标和高斯值赋值到的第4个通道中，即按照的规则赋值；

2.3.3.11令i＝i+1，若i≤N_s，转2.3.3.3；若iN_s，说明第s张图像的N_s个下采样4倍的标注框生成的二维高斯值均已赋值到中，转2.3.3.12；

2.3.3.12令第s张图像的角点预测真实值

2.3.4根据第s张图像的N_s个下采样4倍的标注框构建粗略框预测任务的第s张图像的粗略框真实值

2.3.5根据构建精细框预测任务的精细框真实值值与相等，即

2.3.6令s＝s+1，若s≤S，转2.3.2；若sS，转2.3.7；

2.3.7得到S张图像用于模型训练的任务真实标签，并将其和S张图像组成一个集合，构成用于模型训练的训练集D_M；

2.4采用图像缩放标准化方法对验证集中V张图像进行优化处理，即对V张图像进行缩放、标准化，得到由V张缩放标准化后的图像组成的新的验证集D_V；

2.5采用2.4步所述图像缩放标准化方法对测试集中T张图像进行优化处理，得到由T张缩放标准化后的图像组成的新的测试集D_T；

第三步，利用梯度反向传播方法对第一步构建的目标检测系统进行训练，得到N_m个模型参数；方法是：

3.1初始化目标检测系统中各模块的网络权重参数；采用ImageNet数据集上训练的预训练模型初始化主特征提取模块中的DarkNet-53卷积神经网络的参数；初始化主特征模块中的特征金字塔网络、特征自适应聚合模块、辅助任务模块、主任务模块网络权重参数；

3.2设置目标检测系统训练参数；包括初始化初始学习率learning_rate衰减系数，选用随机梯度下降作为模型训练优化器，初始化优化器的超参数“动量”，初始化“权重衰减”；初始化网络训练的批次大小mini_batch_size为正整数；初始化最大训练步长maxepoch为正整数；

3.3训练目标检测系统，方法是将一次训练时目标检测系统输出的粗略框预测位置、精细框预测位置、角点预测热力图和中心点预测热力图与真实值之间的差异作为损失值loss，利用梯度反向传播更新网络权重参数，直到损失值达到阈值或训练步长达到maxepoch结束；在最后N_m个训练步，每训练一个训练步，保存一次网络权重参数；方法如下：

3.3.1令训练步epoch＝1，训练集所有数据训练一个周期为一个epoch；初始化批次序号N_b＝1；

3.3.2主特征提取模块从D_M读取第N_b批次，共B＝64个图像，将这B个图像记为矩阵形式I_train，I_train中包含B个H×W×3的图像；H表示输入图像的高，W表示输入图像的宽，“3”代表图像的RGB三个通道；

3.3.3主特征提取模块采用主特征提取方法提取I_train的多尺度特征，得到I_train的多尺度特征，将包含I_train的多尺度特征的多尺度特征图发送给自适应特征聚合模块；方法为：

3.3.3.1主特征提取模块的DarkNet-53卷积神经网络提取I_train的图像特征，得到主干网络特征图集合，方法是：DarkNet-53卷积神经网络的5个串行子网络对I_train的B个图像进行下采样、特征提取，得到主干网络特征，即后四个串行子网络的输出的4个特征图，发送给特征金字塔网络；

3.3.3.2特征金字塔网络从DarkNet-53卷积神经网络接收4个特征图，特征金字塔网络对4个特征图进行上采样、特征提取和特征融合，得到3个多尺度特征图，令为将多尺度特征图发送给特征自适应聚合模块；

3.3.4特征自适应聚合模块从特征金字塔网络接收多尺度特征图生成多尺度感知的高像素特征图F_H，将F_H发送给辅助任务模块；并生成边界区域感知的高像素特征图和显著性区域感知的高像素特征图，将边界区域感知的高像素特征图和显著性区域感知的高像素特征图发送给主任务模块；方法是：

3.3.4.1自适应多尺度特征聚合网络从特征金字塔网络接收采用自适应多尺度特征聚合方法对进行通道自注意力增强、双线性插值上采样和尺度级别软权重聚合操作，得到多尺度感知的高像素特征图F_H；F_H的特征图分辨率为F_H的特征图通道数为64；具体方法如下：

3.3.4.1.1自适应多尺度特征聚合网络使用第一、第二、第三SE网络并行对进行并行通道自注意力增强，即第一SE网络对施加在通道上的加权求和，得到第一通道表征增强后的图像同时第二SE网络对施加在通道上的加权求和，得到第二通道表征增强后的图像同时第三SE网络对施加在通道上的加权求和，得到第三通道表征增强后的图像

3.3.4.1.2自适应多尺度特征聚合网络的第一、第二、第三SE网络并行采用双线性插值将上采样到相同的分辨率大小得到上采样后的特征图成为上采样后的特征图集合具体计算过程如公式(2)所示：

其中SE_n表示第n个SE网络，表示第lvl个多尺度特征图，Upsample表示双线性插值上采样，1≤lvl≤3，1≤n≤3；

3.3.4.1.3自适应多尺度特征聚合网络对采用1×1卷积计算权重，将通道数从64减少为1，再在尺度维度上执行Softmax操作，得到大小为的软权重图软权重图的像素点的数值大小表明应更关注这3个尺度中的哪一个，即中哪一个所占权重更大，从而让不同尺寸的物体响应不同尺度的特征图；

3.3.4.1.4自适应多尺度特征聚合网络将第lvl个尺度的权重图与对应的第lvl个上采样后的特征图逐元素乘，即将与对应逐元素乘，将与对应逐元素乘，与分别逐元素乘，得到3个乘积，然后对这3个乘积进行加权求和，融合为一个特征图，得到融合后的特征图；接着采用第四SE网络增强融合后的特征图的通道表征，得到多尺度感知的高像素特征图F_H；具体过程如公式(3)所示：

其中SE₄为第四SE网络，表示同一位置元素在不同尺度中所占权重，“×”表示对应位置元素乘积，Conv表示1×1卷积；自适应多尺度特征聚合网络将F_H发送给辅助任务模块、粗略框预测网络和自适应空间特征聚合网络；

3.3.4.2粗略框预测网络从自适应多尺度特征聚合网络接收多尺度感知的高像素特征图F_H，采用粗略框预测方法对F_H中每一个特征点位置进行粗略框位置预测，生成粗略框预测位置B_coarse，将B_coarse发送给自适应空间特征聚合网络，B_coarse也是的矩阵，分辨率大小为通道数为4；通道数4表示从像素点出发到上、下、左、右四个方向的距离，每一个像素点形成一个粗略框；B_coarse用于限制自适应空间特征聚合网络中的可形变卷积采样范围；并且，对B_coarse与2.2.5.4构建的粗略框真实值计算损失

其中S_b是回归样本集合，由不为0的像素集合组成；N_b是回归样本集合的数量，W_ij是对应不为0的(i,j)位置权重值；

3.3.4.3自适应空间特征聚合网络从自适应多尺度特征聚合网络接收多尺度感知的高像素特征图F_H，从粗略框预测网络接收粗略框预测位置B_coarse，生成边界区域感知的高像素特征图F_HR和显著性区域感知的高像素特征图F_HS；方法是：

3.3.4.3.1设计区域受限的可形变卷积R-Dconv，方法是：

3.3.4.3.1.1设计偏移量转换函数对可形变卷积的偏移量Δp进行变换，得到变换后的偏移量；限制可形变卷积的空间采样点的偏移范围在B_coarse内，同时也使可形变卷积的偏移量Δp可微分；采用Sigmoid函数对B_coarse内的偏移量Δp进行归一化，使Δp在[0,1]区间内；将Δp拆分为h_Δp和w_Δp，h_Δp表示Δp在垂直方向的偏移，w_Δp表示Δp在水平方向的偏移；如公式(5)所示：

其中表示在垂直方向的偏移量转换函数，表示在水平方向的偏移量转换函数，总体的偏移量转换函数(t,l,r,d)是卷积核位置p与B_coarse的上下左右四个方向的距离；

3.3.4.3.1.2利用限制可形变卷积采样区域；给定一个3×3卷积核，其拥有K＝9个空间采样位置点，w_k表示第k个位置的卷积核权重，P_k表示第k个位置的预定义位置偏移量；P_k∈{(-1,-1),(-1,0),...,(1,1)}表示以(0,0)为中心的3×3范围；令x(p)表示卷积核中心位置p处的输入特征图，y(p)表示卷积核中心位置p处的输出特征图；采用R-DConv计算y(p)，如公式(6)所示：

其中Δp_k表示第k个位置的可学习偏移量，Δm_k表示第k个位置的权重；Δp_k和Δm_k由一个3×3卷积生成，3×3卷积生成27通道的特征图，其中9个通道为Δp_k横坐标偏移值，9个通道为Δp_k纵坐标偏移值，9个通道为Δm_k的值；B_coarse表示在当前特征图尺度上预测的粗略框，也是预定义限制区域；

3.3.4.3.2采用分类自适应空间特征聚合方法利用B_coarse限制采样范围对F_H进行特征聚合，分类自适应空间特征聚合方法具体为：

3.3.4.3.2.1令分类偏移量转换函数用公式(6)计算得到位置p处的输出特征y_cls(p)；

3.3.4.3.2.2采用利用卷积核遍历F_H，得到显著性区域感知的高像素特征图F_HS；允许采样点集中，使分类分支可以专注最具鉴别能力的显著性区域；令使R-DConv在粗略框范围内学习物体的显著性区域，提取出使物体分类更准确的特征，即显著性区域感知的高像素特征图F_HS，将F_HS发送给主任务模块；

3.3.4.3.3采用回归自适应空间特征聚合方法利用B_coarse限制采样范围对F_H进行特征聚合，回归自适应空间特征聚合方法具体为：

3.3.4.3.3.1设计回归偏移量转换函数对可形变卷积的偏移量Δp进行变换；将R-DConv操作的空间采样点沿上、下、左、右四个方向均匀划分，使限定区域被划分为四个子区域，分别对应左上、右上、左下和右下；分别对四子区域进行均匀采样，即每个区域分配等额的采样点；设置K＝9，函数从四个子区域各采样两个点，总共八个边缘点，再加上一个中心点，形成3×3的卷积核，增强中心特征点对边界信息的捕获；回归偏移量转换函数如公式(7)所示：

为对粗略框区间内的偏移量进行归一化的Sigmoid函数；

将代入公式(6)中的得到位置p处的输出特征y_reg(p)；

3.3.4.3.3.2采用利用卷积核遍历F_H，得到边界区域感知的高像素特征图F_HR，将F_HR发送给主任务模块；

3.3.5辅助任务模块从自适应多尺度特征聚合网络接收F_H，经过两层3×3卷积、一层1×1卷积和sigmoid函数处理，得到角点预测热力图H_corner，H_corner的分辨率大小为通道数为4；对H_corner与2.3.3构建的角点预测真实值计算损失，得到H_corner和的损失值

其中N_s是该图像标注框的数量，α_l和β是超参数，用于控制损失函数的梯度曲线；是第c通道、(i,j)像素位置处的辅助任务模块输出的角点预测值，是第c通道、像素位置(i,j)的角点预测真实值；

3.3.6主任务模块的精细框预测网络从自适应空间特征聚合网络接收边界区域感知的高像素特征图F_HR，经过一层1×1卷积处理，得到F_HR特征点位置的精细框预测位置B_refIne；B_refIne的分辨率大小为通道数为4；通道数4表示像素点到预测精细框上、下、左、右四个方向的距离，每一个像素点可形成一个精细预测框；对B_refine与2.3.5得到的精细框真实值计算损失

其中S_b是回归样本集合，由不为0的像素集合组成；N_b是回归样本集合的数量，W_ij是对应不为0的(i,j)位置权重值，B_refine的学习质量代表目标检测系统回归物体位置的准确度；

3.3.7主任务模块的中心点预测网络从自适应空间特征聚合网络接收显著性区域感知的高像素特征图F_HS，经过一层1×1卷积和sigmoid函数处理，得到F_HS特征点位置的中心点预测热力图H_center；H_center的分辨率大小为通道数为数据集类别数量C；将H_center与2.2.5.2构建的中心点预测真实值计算损失

其中N_s是该图像标注框的数量，α_l和β是超参数，是第c通道、(i,j)像素位置的中心点预测热力图，是第c通道、(i,j)像素位置的中心点预测真实值；H_center的学习质量代表目标检测系统定位物体中心位置和区分物体类别的能力；

3.3.8设计目标检测系统的总损失函数如公式(11)所示：

其中是角点预测网络输出的H_corner和真实值计算的损失值，是中心点预测网络输出的H_center和真实值计算的损失值，是粗略框预测网络输出的B_coarse和真实值计算的损失值，是精细框预测网络输出的B_refine和真实值计算的损失值；为角点预测网络损失权重，为中心点预测网络损失权重，为粗略框预测网络损失权重，为精细框预测网络损失权重；

3.3.9令epoch＝epoch+1，若epoch为80或110，令learning_rate＝learning_rate×0.1，转3.3.10；若epoch既不是80也不是110，直接转3.3.10；

3.3.10若epoch≤maxepoch，转3.3.2；若epochmaxepoch，说明训练结束，转3.3.11；

3.3.11保存后N_m个epoch的网络权重参数；

第四步，使用验证集验证装载后N_m个epoch的网络权重参数的目标检测系统的检测精度，保留性能最好的网络权重参数作为目标检测系统的网络权重参数；方法是：

4.1令变量n_m＝1；

4.2目标检测系统加载后N_m个epoch的网络权重参数中的第n_m个网络权重参数；将新的验证集D_V输入目标检测系统；

4.3令v＝1，为验证集的第v张图像，V是验证集的图像数量；

4.4主特征提取模块接收第v张验证集图像D_v，采用3.3.3所述的主特征提取方法提取D_v的多尺度特征，得到D_v的多尺度特征，将包含D_v的多尺度特征的多尺度特征图发送给自适应特征聚合模块；

4.5特征自适应聚合模块中的自适应多尺度特征聚合网络接收包含D_v的多尺度特征的多尺度特征图，采用3.3.4.1所述的自适应多尺度特征聚合方法对多尺度特征图进行通道自注意力增强、双线性插值上采样和尺度级别软权重聚合操作，得到D_v的多尺度感知的高像素特征图F_HV，将F_HV发送给粗略框预测网络、自适应空间特征聚合网络；

4.6特征自适应聚合模块中的粗略框预测网络接收F_HV，采用3.3.4.2所述的粗略框预测方法对F_HV中每一个特征点位置进行粗略框位置预测，生成第v张验证集图像D_v的粗略框预测位置B_HVcoarse；将B_HVcoarse发送给自适应空间特征聚合网络；B_HVcoarse也是的矩阵，分辨率大小为通道数为4；

4.7特征自适应聚合模块中的自适应空间特征聚合网络从粗略框预测网络接收B_HVcoarse，从自适应多尺度特征聚合网络接收F_HV，采用3.3.4.3.2所述的分类自适应空间特征聚合方法利用B_HVcoarse对采样范围进行限制，对F_HV进行分类任务空间特征聚合，得到第v张验证集图像D_v的显著性区域感知的高像素特征图；将第v个验证图像的显著性区域感知的高像素特征图发送给中心点预测网络；

4.8特征自适应聚合模块中的自适应空间特征聚合网络采用3.3.4.3.3所述的回归自适应空间特征聚合方法利用B_HVcoarse对采样范围进行限制，对F_HV进行回归任务空间特征聚合，得到第v张验证集图像D_v的边界区域感知的高像素特征图；将第v个验证图像的边界区域感知的高像素特征图发送给精细框预测网络；

4.9主任务模块中的精细框预测网络接收边界区域感知的高像素特征图，经过一层1×1卷积处理，得到第v张验证集图像D_v物体的精细框预测位置，将第v个验证图像的精细框预测位置发送给后处理模块；

4.10主任务模块中的中心点预测网络接收第v张验证集图像D_v的显著性区域感知的高像素特征图，经过一层1×1卷积处理，得到第v张验证集图像D_v的中心点预测热力图，将第v个验证图像D_v的中心点预测热力图发送给后处理模块；

4.11后处理模块接收第v个验证图像D_v的精细框预测位置和中心点预测热力图，采用去除重叠伪框方法对第v个验证图像D_v的精细框预测位置和中心点预测热力图进行去除重叠伪框操作，得到第v个验证图像D_v的预测物体框集合，具体方法如下：

4.11.1后处理模块对第v个验证图像D_v的中心点预测热力图执行3×3最大池化操作，提取第v个验证图像D_v的中心点预测热力图的峰值点集合，每一个峰值点表示预测物体内的一个中心区域点；

4.11.2从第v个验证图像D_v的中心点预测热力图得到峰值点(P_x，P_y)的坐标值P_x，P_y，后处理模块从D_v的精细框预测位置得到峰值点(P_x，P_y)上、左、下、右四个方向的距离信息(t，l，d，r)，得到D_v的预测框B_p＝{P_y-t，p_l-l，p_d+d，p_r+r}；B_p的类别即为峰值点(P_x，P_y)位置的中心点热力图像素值最大的通道值，记为c_p；B_p的置信度即为峰值点(P_x，P_y)位置的中心点热力图第c_p通道的像素值，记为s_p；

4.11.3后处理模块保留第v个验证图像D_v中置信度s_D大于置信度阈值的预测框，形成第v个验证图像D_v的物体框预测集合，该物体框预测集合保留预测框B_p和B_p的类别c_p信息；

4.12令v＝v+1，若v≤V，转4.4；若v＞V，说明得到第n_m个模型的V张验证图像的物体框预测集合，转4.13；

4.13若验证集采用MS COCO公开的通用场景数据集，则采用标准的MS COCO评测方式测试目标检测系统输出的最终物体框预测集合的精度，记录物体框预测集合的精度，转4.14；若验证集采用Cityscapes无人驾驶场景数据集，则采用Cityscapes评测方式测试目标检测系统输出的最终物体框预测集合的精度，记录物体框预测集合的精度，转4.14；

4.14令n_m＝n_m+1；若n_m≤N_m，转4.2；若n_m＞N_m，说明完成N_m个模型的精度测试，转4.15；

4.15从N_m个模型的物体框预测集合的精度中选择精度最高的物体框预测集合，并找到精度最高的物体框预测集合对应的目标检测系统对应的权重参数，将该权重参数作为目标检测系统选定的权重参数，将该选定权重参数加载到目标检测系统，加载了此选定权重参数的目标检测系统成为训练后的目标检测系统；

第五步，采用训练后的目标检测系统对用户输入的待检测图像进行目标检测，方法是：

5.1采用2.4步所述图像缩放标准化方法对用户输入的待检测图像I进行优化处理，得到标准化后的待检测图像I_nor，将I_nor输入主特征提取模块；

5.2主特征提取模块接收I_nor，采用3.3.3所述的主特征提取方法提取I_nor的多尺度特征，得到I_nor的多尺度特征，将包含I_nor的多尺度特征的多尺度特征图发送给自适应特征聚合模块；

5.3特征自适应聚合模块中的自适应多尺度特征聚合网络接收包含I_nor的多尺度特征的多尺度特征图，采用3.3.4.1所述的自适应多尺度特征聚合方法对包含I_nor的多尺度特征的多尺度特征图进行通道自注意力增强、双线性插值上采样和尺度级别软权重聚合操作，得到多尺度感知的高像素特征图F_IH，将F_IH发送给粗略框预测网络、自适应空间特征聚合网络；

5.4特征自适应聚合模块中的粗略框预测网络接收F_IH，采用3.3.4.2所述的粗略框预测方法对F_IH进行粗略框位置预测，得到待检测图像I中粗略框预测位置B_Icoarse；将B_Icoarse发送给自适应空间特征聚合网络；B_Icoarse也是的矩阵，分辨率大小为通道数为4；

5.5特征自适应聚合模块中的自适应空间特征聚合网络接收F_IH和B_Icoarse，采用3.3.4.3.2所述的分类自适应空间特征聚合方法利用B_Icoarse限制采样范围，对F_IH进行分类任务空间特征聚合，得到待检测图像I的显著性区域感知的高像素特征图；将待检测图像I的显著性区域感知的高像素特征图发送给中心点预测网络；

5.6特征自适应聚合模块中的自适应空间特征聚合网络采用3.3.4.3.3所述的回归自适应空间特征聚合方法利用B_Icoarse限制采样范围，对F_IH进行回归任务空间特征聚合，得到待检测图像I的边界区域感知的高像素特征图；将待检测图像I的边界区域感知的高像素特征图发送给精细框预测网络；

5.7主任务模块中的精细框预测网络接收待检测图像I的边界区域感知的高像素特征图，经过一层1×1卷积处理，得到待检测图像I中物体的精细框预测位置；将待检测图像I中物体的精细框预测位置发送给后处理模块；

5.8主任务模块中的中心点预测网络接收待检测图像I的显著性区域感知的高像素特征图，经过一层1×1卷积处理，得到待检测图像I的物体的中心点预测热力图；将待检测图像I的物体的中心点预测热力图发送给后处理模块；

5.9后处理模块接收待检测图像I的物体的精细框预测位置和中心点预测热力图，采用4.9步所述的去除重叠伪框方法对待检测图像I的物体的精细框预测位置和待检测图像I的物体的中心点预测热力图进行去除重叠伪框操作，得到待检测图像I的物体框预测集合，待检测图像I的物体框预测集合保留预测框B_p和预测框的类别信息，即待检测图像的预测物体框的坐标位置和预测类别；

第六步，结束。