[发明专利]一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法

说明书

本发明涉及一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法，包括以下步骤：1)构建基于多层特征融合的深度学习神经网络模型；2)利用训练样本数据集对模型进行训练；3)对桥梁上拍摄的待检测图像进行图像增强的预处理操作；4)将预处理后的图像输入模型中，得到具有车轮车辆类别坐标标定的输出图像；5)利用重叠率度量方法，将图像中检测到的车轮与对应车辆进行匹配。与现有技术相比，本发明具有提高了检测的精度，增强了实时性，降低漏检概率等优点，本发明在实现车辆目标检测的同时也实现了车轮的检测，并自动将同一图像上的车辆与车轮匹配。

技术领域

本发明涉及监控视频智能分析领域与桥梁外部荷载监测领域，尤其是涉及一种基于深度学习的桥梁车辆车轮检测方法。

背景技术

车辆车轮检测属于目标检测任务。目标检测的任务是找出图像中所有感兴趣的目标(物体)，是机器视觉领域的核心问题之一。目标检测不仅要定位出目标的位置并且知道目标物是什么。对于计算机来说，面对的是RGB像素矩阵，很难从图像中直接得到车和船这样的抽象概念并定位其位置，再加上物体姿态、光照和复杂背景混杂在一起，使得物体检测更加困难。在本发明中，感兴趣的目标是车辆和车轮。

目标检测算法分为传统目标检测算法和结合深度学习的目标检测算法。

传统的目标检测方法大致可以分为三个步骤：第一个是检测窗口的选择，第二个是特征的设计，第三个是分类器的设计。首先对图像中可能的目标位置提出建议，也就是提出一些可能含有目标的候选区域，然后采用合适的特征模型得到特征表示，最后借助分类器判断各个区域中是否含有特定类型的目标，并且通过一些后处理操作，例如边框位置回归等，得到最终的目标边框。但传统的目标检测方法存在特征表达能力弱、检测速度慢等问题。

基于深度学习的目标检测方法可以分为两类：基于区域提名的目标检测算法，包括R-CNN、SPP-net、Fast R-CNN、Faster R-CNN、R-FCN、Mask RCNN等；端到端的、无需区域提名的目标检测算法，如YOLO、SSD、YOLOv2、YOLOv3等。基于区域提名的目标检测算法，主要包含两个过程：候选区域生成和区域分类。区别于R-CNN系列为代表的两步检测算法，端到端的目标检测算法舍去了候选框提取分支，直接将特征提取、候选框回归和分类在用一个无分支的卷积网络中完成，使得网络结构变得简单，检测速度较Faster RCNN有显著的提升，可以达到在实时的检测速度水平下，仍然保持很高的检测精度。

基于深度学习的目标检测算法在检测速度和检测精度上已经超过了传统的目标检测算法，但这类目标检测算法需要足够的训练集数据来实现模型的训练。目前，开放的车辆类数据集有KITTI数据集、PASCAL VOC数据集和COCO数据集的部分车辆图像训练样本，且不存在车轮训练数据集。这对车辆车轮的检测造成一定的困难，难以完成现实场景下的车辆车轮检测。

专利CN108629279A提出了一种基于卷积神经网络的车辆目标检测的方法，采用Faster R-CNN算法进行车辆目标检测，但该方法分为两个阶段，RPN网络提取ROI区域和Fast R-CNN网络进行分类和回归，时间性能较差，难以实时运行。

专利CN108596053A提出了一种基于SSD和车辆姿态分类的车辆检测方法和系统，根据车头与水平轴的角度对车辆姿态进行划分，将车辆检测损失和车辆姿态分类任务的损失结合起来形成多任务损失。然而，将车辆姿态分类任务作为车辆检测任务的辅助任务，会额外增添网络的负担，且当图像中存在多个车辆目标时，分类任务的精确度会降低，对最终算法性能造成较大影响。

目前还没有针对检测车辆车轮的较好方法，更没有能完成现实场景下的车辆车轮检测方法。

发明内容

本发明的目的就是为了克服上述现有问题，并实现对交通荷载更好的监测而提供的一种基于深度学习的车辆车轮检测方法。

本发明的目的可以通过以下技术方案来实现：