[发明专利]一种基于多层特征融合的车辆检测方法

权利要求书

1.一种基于多层特征融合的车辆检测方法，其特征在于，包括如下步骤：

步骤一：获取带有标注的车辆检测数据集，划分训练集、验证集、测试集；

步骤二：针对训练集中车辆的尺寸重新设计先验框大小，使用k-means聚类方法，得到9个聚类中心作为先验框的尺寸；

步骤三：使用YOLO v4的主干特征提取网络CSPdarknet 53，将提取到的四个不同尺度的特征作为输入传入多层特征融合网络，经过两次多层特征融合网络，将输出的三个不同尺度特征图传入分类回归预测网络得到最终预测结果；

具体包括如下步骤：

(1)CSPdarknet 53包含5个带有残差边的CSPResblock，将第二到第五个CSPResblock输出的四个特征层作为多层特征融合网络的输入；当输入图像大小为608×608×3时，四个特征层大小分别为152×152×128，76×76×256，38×38×512和19×19×1024；

(2)多层特征融合网络包含自下而上和自上而下的两个特征融合路径；在自下而上的特征融合路径中，考虑到不同层特征对于融合的贡献是不同的，当前层特征会与下层所有特征加权后进行融合，其中权重是可以学习的参数；融合结果经过五次卷积后一部分作为自上而下融合路径的输入，一部分上采样后与上层特征进行融合；在自上而下的特征融合路径中，当前层特征会与上层所有特征层加权后进行融合，融合结果经过三次卷积后，一部分作为多层特征融合网络的输出，一部分经过下采样与下层特征层进行融合；以特征层P3为例：

其中，P₃ⁱⁿ,P₄ⁱⁿ,P₅ⁱⁿ为对应特征层的输入，P₃^td是中间特征层，P₂^out，P₃^out为对应特征层的输出，w₁，w₂，w₃是可以学习的权重，up是上采样，down是下采样，cat是特征层拼接操作；其中，权重的计算方式为：

w_i首先初始化为1，经过Relu激活函数以及归一化操作后，作为一个可以学习的参数参与网络训练；

(3)特征融合网络中的3×3卷积使用深度可分离卷积，每次深度可分离卷积首先进行逐通道的3×3卷积，然后进行逐点的1×1卷积；

(4)将第一个多层特征融合网络的输出作为下一个多层特征融合网络的输入，一共经过两次多层特征融合网络，最终将P3,P4,P5特征图输入分类回归预测网络得到最终的预测结果；

(5)分类回归预测网络预测目标框偏移量、置信度、分类得分，根据置信度判断目标是否为背景，如果不是背景则根据分类得分判断类别，再根据目标框偏移量判断目标实际位置；所有目标框最后会经过非极大值抑制消除冗余目标框，得到最终的预测结果；

步骤四：通过训练集训练网络模型并在训练过程中使用验证集对模型进行验证；最后通过测试集评估网络性能。

2.根据权利要求1所述的基于多层特征融合的车辆检测方法，其特征在于，步骤一中的数据集获取通过提取coco2017数据集中的车辆类别得到，将coco2017-train中提取的车辆图片90％作为训练集，10％作为验证集，将coco2017-test中提取的车辆图片作为测试集。

3.根据权利要求1所述的基于多层特征融合的车辆检测方法，其特征在于，步骤二中的针对训练集中车辆的尺寸重新设计先验框大小包含如下步骤：

(1)随机选取九个框作为聚类中心框；

(2)计算真实框和聚类中心框的距离，公式如下：

d(B,C)＝1-IOU(B,C)

其中B代表真实框，C代表聚类中心框，IOU代表交并比，d代表聚类中心心框和真实框的距离；将真实框划分到距离最近的一个簇中；

(3)所有真实框划分完毕后，对每个簇重新计算聚类中心；

(4)重复步骤(2)和(3)，直到聚类中心收敛，将9个聚类中心作为先验框。

4.根据权利要求1所述的基于多层特征融合的车辆检测方法，其特征在于，步骤四包括如下步骤：

训练集包含14643张图片，验证集包含1627张图片，输入尺寸为608×608×3，通过训练集训练网络模型，并通过验证集验证网络性能；在网络收敛后，保存训练好的模型，并通过测试集进行测试。