[发明专利]一种基于RGB室外道路场景图像的红绿灯识别方法

说明书

一种基于RGB室外道路场景图像的红绿灯识别方法，包括如下步骤：基于Nvidia Tx2平台，实时获取道路场景的RGB图片，归一化处理后输入CenterNet网络进行推理，从RGB原图片中抠取包含有红绿灯的目标区域；将得到的目标区域依次输入排除误检的自定义分类器、分类箭头方向的自定义分类器、分类指示灯颜色的自定义分类器中，依次剔除为背景的目标区域并分类，得到各红绿灯在RGB图片中的位置信息、红绿灯的方向信息、红绿灯的颜色信息等。本发明综合了检测网络CenterNet漏检少、速度快的优点，再通过各类自定义分类器，解决了因各种原因导致的误识别，提高了识别的准确率和效率。

技术领域

本发明涉及图像识别技术领域，尤其涉及一种基于RGB室外道路场景图像的红绿灯识别方法。

背景技术

无人驾驶、智能辅助驾驶、导航等技术中需要实时识别道路上的红绿灯，目前红绿灯识别一般采用实时目标检测网络，主流网络有基于候选区域的目标检测器或单次目标检测器。基于候选区域的目标检测器，会使用特征提取器对整图进行特征提取，再在特征图上创建候选区域ROI，将各个候选区域进行卷积和分类，得到检测结果；此方法虽然对红绿灯等小物体效果良好，但在开发端NVIDIA TX2推理速度很慢，不能满足实时性要求，如FasterR-CNN等网络模型。单次目标检测器，会基于滑动窗口进行预测，同时预测anchors的边界框和类别，再提取特征进行卷积和分类，得到检测结果；此方法在开发端NVIDIA TX2推理速度较快，但是对检测红绿灯等小物体检测效果很差，如YOLOV3、SSD等网络模型。

发明内容

本发明的目的是克服上述现有技术的缺点，结合主流网络模型的优缺点，采用一种新的方法--基于中心点的检测网络CenterNet，将检测目标定位到一个点，即检测矩形框的中心点，再卷积回归目标的类别位置等其他属性，得到检测结果；此方法对检测红绿灯等小物体效果良好，在开发端NVIDIA TX2推理速度较快，能同时满足识别精度和实时性要求。

本发明是通过以下技术方案来实现的：

一种基于RGB室外道路场景图像的红绿灯识别方法，包括如下步骤：

S1、基于Nvidia Tx2平台，实时获取道路场景的RGB图片，对RGB图片进行归一化处理后，输入CenterNet网络进行推理，得到红绿灯的位置信息，所述红绿灯的位置信息包括各红绿灯的中心点坐标（在RGB图片中的坐标位置）、宽度和高度等；

S2、依据上述步骤得到的各红绿灯的位置信息，从RGB原图片中抠取包含有红绿灯的目标区域，得到各个目标区域及其位置信息；

S3、将步骤S2中得到的各目标区域依次输入排除误检的自定义分类器中，剔除目标区域为背景的目标区域（非红绿灯或关闭的红绿灯），保留目标区域为红绿灯正常显示的目标区域及其位置信息，所述目标区域为背景的目标区域包括红绿灯关闭的目标区域；

S4、将步骤S3中保留的各目标区域依次输入分类箭头方向的自定义分类器中，剔除目标区域为背景的目标区域（非红绿灯，如非红绿灯的箭头或圆形），保留目标区域为向左箭头、向右箭头、向前箭头、掉头箭头或圆形指示灯的目标区域及其位置信息和箭头方向信息；

S5、将步骤S4中保留的各目标区域依次输入分类指示灯颜色的自定义分类器中，剔除目标区域颜色为背景的目标区域（非红绿灯，分类出的目标区域中可能含有非红绿灯颜色的箭头圆形等），保留目标区域为红色、黄色或绿色的目标区域及其位置信息、箭头方向和颜色等；

S6、将步骤S5中保留的各目标区域依次提取特征，得到RGB图片中能识别到的红绿灯信息，所述红绿灯信息包括各红绿灯在RGB图片中的位置信息、红绿灯的方向信息和红绿灯的颜色信息等。

进一步地，所述S1步骤中的RGB图像由RGB摄像头获得。