[发明专利]基于深度学习SSD框架的道路车辆实时检测方法

摘要

本发明公开了一种基于深度学习SSD框架的道路车辆实时检测方法，主要解决现有技术在道路拥挤、天气状况复杂情况下检测准确率低的问题。其实现方案是：1.在交通要道拍摄若干个行驶车辆的视频，并以手动标注的方式抓取视频各帧图像中车辆的车窗信息；2.以分类网络中VGG‑16作为基本网络，搭建SSD300*300检测框架，抽取其中某些特征提取层的特征进行连接作为识别的特征向量，并输入到损失函数中；3.用训练样本进行训练，并将训练好的检测模型代入检测框架中；4.设定相关阈值，用训练好的检测模型对测试视频中的车辆进行检测。本发明不仅大大提高了检测准确率，并且达到了实时检测的效果，可用于复杂场景下对车辆的检测。

主权项

1.基于深度学习SSD框架的道路车辆实时检测方法，包括如下步骤：1)构建训练数据集：1a)在交通要道拍摄行驶车辆的若干个视频，将这些视频每隔10帧保存为图片，并存放到JPEGImages文件夹下作为训练数据；1b)对1a)的每张图片中车窗部分进行标注，生成txt格式的标注文件并进行xml格式转换，将转换为xml格式的文件均分成两部分，其中将一部分图片的图片名写入到trainval.txt文件中，另一部分则将图片名写入到test.txt文件中，得到训练网络所需的trainval.txt文件、test.txt文件和与图片相对应的xml文件；1c)将1b)中的所有xml文件进行合并后存放到Annotations文件夹下，并将生成的trainval.txt文件和test.txt文件存放到ImageSet/Main文件夹下；2)搭建SSD训练网络架构：2a)下载并安装caffe‑ssd平台；2b)在caffe‑ssd平台中下载并打开VGG‑16网络结构的deploy.prototxt文件，修改其卷积层及全链接层的层类别，以此作为基础网络base_network；2c)在基础网络base_network的末尾添加卷积层及池化层，作为额外的特征提取层；2d)创建用于多尺度输出的mbox_layers层，并根据基础网络base_network，设定mbox_layers层的相关参数；3)转换数据格式开始训练：3a)修改caffe_ssd平台下的标签字典，该标签字典的文件名为labelmap_voc.prototxt，即将标签字典改为“汽车”和“背景”这两个类别；3b)将1)中准备好的数据集存放到data文件夹下，将xml格式的标注文件转换成网络固定输入格式的lmdb格式文件；3c)将3a)中修改过的标签字典文件和3b)生成的lmdb文件输入到搭建好的SSD训练网络进行训练，得到最终的训练模型；4)利用训练模型进行视频车辆检测：4a)将任意待测行驶车辆视频按帧输入到训练好的模型中；4b)对于输入的每一帧图像，该模型将随机地选取整幅图像的多个区域，并采用卷积算法对每个区域进行打分；4c)设定一个阈值δ＝0.3，将每一个区域的得分分别与δ比较，将得分高于δ的区域，判断为包含汽车车窗，并调用绘图命令对这个区域进行标注；将得分值低于δ的区域，判断为不包含车窗或包含不完全车窗，直到图像上所有被判断为包含汽车车窗的区域均标注完成；4d)重复4b)‑4c)，将4a)中待测视频的所有帧图像处理后，得到相应的输出视频，此输出视频将会标注出每一个包含汽车车窗的区域，从而完成对一段视频中每一辆汽车的检测。