[发明专利]一种基于改进Faster R-CNN的道路环境视觉感知方法

说明书

一种基于改进Faster R‑CNN的道路环境视觉感知方法。针对复杂道路场景中目标检测和识别的高精度需求，本发明提出了基于多GPU训练的改进Faster R‑CNN算法。本发明算法使用多GPU并行训练的方法提升了训练效率；采用ResNet‑101特征提取网络提高目标检测精度；采用Soft‑NMS算法降低漏检率；同时在ROI NetWork中引入OHEM降低虚警率；为完善算法在雨雪、雾霾天气中的目标检测效果，结合国际公认的自动驾驶数据集KITTI和Oxford RobotCar对模型进行训练。实验结果证实本发明算法与Faster R‑CNN相比，在训练速度和检测精度上有明显提升，尤其在自动驾驶场景中拥有良好的泛化能力和更强的实用性。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于改进Faster R-CNN的道路环境视觉感知方法。通过对Faster R-CNN算法的改进，本方法在网络模型训练速度和目标检测精度上有明显提升，尤其在自动驾驶场景中拥有良好的泛化能力和更强的实用性。

背景技术

自动驾驶汽车的里程碑始于2009年，Google开始开发被称为Waymo的无人驾驶汽车项目。近年来，随着AlphaGo展现了深度学习的强大学习能力后，基于深度学习的环境感知、驾驶决策算法在自动驾驶中的应用使无人驾驶真正的替代人类驾驶成为可能。然而，面对复杂道路场景时，自动驾驶技术存在的安全性和可靠性问题一直是制约无人驾驶汽车推广和普及的瓶颈。视觉感知是自动驾驶感知的最主要方式。当天气状况恶劣，如雨、雪、雾霾天气；道路状况复杂，如汽车、摩托车、行人同时出现等情况，这些复杂路况对视觉感知算法仍是一个难题。

近年来的研究表明，基于深度学习的目标检测方法相比于传统的目标检测方法如Haar特征结合Adaboost算法、Hog特征结合Svm算法、DPM算法等在检测的准确率方面有了极大的提升。Faster R-CNN是基于CNN(convolutional neural network，卷积神经网络)的目标检测及识别算法的主流框架之一，采用VGG16特征提取网络对输入图片进行特征提取，然后对Feature Maps上的每个像素点都预测9个anchor boxes,再挑选出分类得分高的300个anchor boxes作为最终的Region Proposals，最后将Feature Maps和Region Proposals送入ROI-NetWork判定目标类别并获得精准的目标位置。Faster R-CNN通过创造性的使用了anchor机制，在VOC 2007 trainvaltest+2012 trainval上的mAP(Mean AveragePrecision)达到较高的73.2％。但是，Faster R-CNN算法也存在诸多不足。如：Faster R-CNN只能使用单GPU进行训练，当训练样本数量巨大或特征提取网络加深时会导致训练时间过长和显存不足的问题；由于特征提取网络所提取到的特征不精细，导致目标漏检的问题；当遇到复杂场景或目标有遮挡、变形时，对目标的预测出现错误的问题。

发明内容

本发明针对Faster R-CNN的上述不足之处进行优化，提出一种基于改进FasterR-CNN的道路环境视觉感知方法。

车辆、行人的自动检测与识别是自动驾驶视觉感知的关键技术。针对复杂道路场景中目标检测和识别的高精度需求，本发明提出了基于多GPU训练的改进Faster R-CNN算法。本算法使用多GPU并行训练的方法提升了训练效率；采用ResNet-101特征提取网络代替原网络提高目标检测精度；采用Soft-NMS算法降低漏检率；同时在ROI NetWork中引入OHEM降低虚警率；为完善算法在雨雪、雾霾天气中的目标检测效果，结合国际公认的自动驾驶数据集KITTI和Oxford RobotCar对模型进行训练。实验结果证实本发明算法与Faster R-CNN相比，在训练速度和检测精度上有明显提升，尤其在自动驾驶场景中拥有良好的泛化能力和更强的实用性。

为实现上述目的，本发明采用如下技术方案：

一种基于改进Faster R-CNN的道路环境视觉感知方法，它包括，