[发明专利]一种交通信号灯识别系统及其识别方法

权利要求书

1.一种基于交通信号灯识别系统的识别方法，所述一种交通信号灯识别系统，包括车载前置摄像头、图像识别装置、语音芯片、扬声器、加速踏板和制动器，其中所述的车载前置摄像头安装在前保险杠中间位置；所述的车载前置摄像头的输出端与图像识别装置的输入端相连；所述的图像识别装置的输出端与加速踏板、制动器、语音芯片的输入端相连；所述的语音芯片的输出端与扬声器的输入端相连；所述的图像识别装置为TL6748F-EVMTMS320C6748；所述的语音芯片采用型号为：QGPH6340，其特征在于，该方法包括以下步骤：

步骤一、利用车载前置摄像头实时采集道路交通信号视频，基于视频信号的每一帧图像进行交通信号灯识别；

步骤二、利用图像识别装置对车载前置摄像头采集的信号进行判断，若是绿灯，则将信号传递给加速踏板，控制加速踏板使车辆行驶；若是红灯或者黄灯，则将信号传递给制动器，控制制动器使车辆制动停车；同时，将判断绿灯或红灯或黄灯的结果传递给语音芯片；

步骤三、语音芯片控制扬声器进行语音播报提示；

所述的步骤二中图像识别装置由颜色识别、形状识别、形状二次确认和连续图像识别结果验证组成，对于车载前置摄像头采集到的图像采用总体上基于RGB空间进行识别，局部基于HSL空间进行识别的双轨方式，具体方法如下：

1)采用加权平均的方法对图像进行灰度化处理：

h(x，y)＝0.30×R(x，y)+0.60×G(x，y)+0.10×B(x，y)

其中，h(x，y)为转换后在(x，y)点的灰度值，R(x，y)为RGB图像在(x，y)点的R通道分量，G(x，y)为RGB图像在(x，y)点的G通道分量，B(x，y)为RGB图像在(x，y)点的B通道分量，且R(x，y)、G(x，y)、B(x，y)∈[0，255]；

2)再采取直方图均衡化的方式对灰度图像进行均衡处理，增强图像的对比度；

3)最后采用类别之间方差最大算法自动选取阈值对均衡化图像进行二值化处理，高于阈值的置为1，低于阈值的置为0；

4)分别设置红色、绿色和黄色的筛选条件如下所示：

(R-B)≥75∩(R-G)≥65

(G-R)≥80∩(G-B)≥5

(G-B)≥75∩(R-B)≥65

对原始图像进行基于以上条件的颜色筛选，把交通信号灯的红、绿、黄发光区域分割出来，同时把不符合以上颜色筛选条件的区域去除；

5)用二值图中对应位置区域替换彩色区域，将彩色灯体和干扰区域变成白色；

6)对步骤5)中经颜色筛选得到的二值图进行腐蚀、膨胀和开运算的形态学处理；

7)构建所有连通区域各自在主轴方向的最小外接矩形；

8)遍历所有的连通区域主轴最小外接矩形，将符合筛选阈值的矩形标定出来，并将他们的尺寸和位置信息反馈到原始彩色图像中，在原始彩色图中将同一位置和相同尺寸的区域裁剪出来，放入存储器中，达到精确定位交通信号灯的目的；

9)使用的车载前置摄像头拍摄的图像是基于RGB色彩空间的，RGB空间结构简单，三个通道的高相关性不能完整地保留形状，从存储器中提取出基于RGB空间的候选区域，将它们转换到HSL空间；

10)将R、G、B分量进行归一化处理，得到R′、G′、B′∈[0，1]，由R′、G′、B′分量转换成H、S、L分量；

11)提取HSL空间候选区域的L通道明亮度图；

12)对L通道明亮度图进行二值化处理，得到候选区域二值图；

13)依国家标准GB 14887-2011对圆形和箭头形交通信号灯尺寸要求作出圆形、左向箭头、前向箭头和右向箭头二值图作为形状对比的模板；

14)将所有的候选区域二值图和二值图模板进行尺寸统一化处理，统一放缩到200×200的尺寸；

15)遍历40000个像素点进行逐一对比，若在图像某一像素点位置候选区域二值图和二值图模板的灰度级同为1或同为0，记为相同像素点；若灰度级不相同，记为不同像素点；

16)整幅图像中相同的像素点个数占总像素点个数的比例叫做匹配相似度；

其中，N.same为相同的像素点个数；N.all为总像素点个数，即N.all＝40000；S为匹配相似度；

17)计算所有候选区域二值图与4个二值图模板依次对比的匹配相似度，取相似度最高的为形状识别的最佳匹配结果S^*；

S^*＝max{S₁₁、S₁₂、S₁₃、S₁₄......S_n1、S_n2、S_n3、S_n4}；

其中，S₁₁为第1个候选区域二值图与圆形二值图模板的匹配相似度，S₁₂为第1个候选区域二值图与左向箭头二值图模板的匹配相似度，S₁₃为第1个候选区域二值图与前向箭头二值图模板的匹配相似度，S₁₄为第1个候选区域二值图与右向箭头二值图模板的匹配相似度，S_n1为第n个候选区域二值图与圆形二值图模板的匹配相似度，S_n2为第n个候选区域二值图与左向箭头二值图模板的匹配相似度，S_n3为第n个候选区域二值图与前向箭头二值图模板的匹配相似度，S_n4为第n个候选区域二值图与右向箭头二值图模板的匹配相似度；

18)得到最佳匹配结果S^*对应的候选区域，对区域再次确认，将区域等分成四个部分，统计四个部分白色像素点的个数,依次为Num1、Num2、Num3、Num4；如果两部分之间白色像素点个数的差值Δ＜150，则认为这两部分白色像素点个数近似相等，否则不相等；

19)用以下判断条件对最佳匹配结果再次进行确认：

20)若最佳匹配结果和二次确认结果一致，那么输出形状识别的结果；若最佳匹配结果和二次确认结果不一致，那么选择匹配相似度第二大的候选区域进行二次确认，依次往复，直至二者结果一致，停止循环，输出形状识别的结果；

21)综合步骤4)颜色筛选的条件、步骤17)形状对比的最佳匹配结果及步骤19)二次确认结果，初步判断交通信号灯的类型D_x即红色圆形、绿色圆形、黄色圆形、红色左向箭头、绿色左向箭头、黄色左向箭头、红色前向箭头、绿色前向箭头、黄色前向箭头、红色右向箭头、绿色右向箭头、黄色右向箭头；

22)车载前置摄像头采集到的是连续的视频信号，基于连续的多帧图像识别结果进行验证；

23)如果连续十帧图像中有连续五帧的识别结果一样，或者连续十帧图像中至少有七帧的识别结果一样，那么认为识别结果正确，输出最终的识别结果，完成判断交通信号灯的类型；否则，继续取后续的连续图像重新进行识别；

24)若是绿灯，则将信号传递给加速踏板，控制加速踏板使车辆行驶；若是红灯或者黄灯，则将信号传递给制动器，控制制动器使车辆制动停车；同时，将判断绿灯或红灯或黄灯的结果传递给语音芯片，控制扬声器进行语音播报提示。