[发明专利]一种基于视觉的交通信号灯自动检测识别方法

摘要

一种基于视觉的交通信号灯自动检测识别方法，它是一种利用颜色空间线性滤波和梯度方向直方图特征相结合的层级架构，通过训练来构建我国典型交通信号灯的检测识别模型。该方法包括训练和测试两个阶段，训练阶段完成训练数据集的收集、目标颜色光谱的确定以及分类模型参数的确定；测试阶段利用训练阶段获得的模型实现交通信号灯的检测识别，其包括交通信号灯候选区域筛选、连通域滤波、交通信号灯形状确认和交通信号灯指示方向确认。本发明克服了现有技术中交通信号灯检测识别实时性不好、识别精度对光照和模板敏感的缺点，取得了较好的检测识别效果，其技术成果在无人驾驶车辆智能决策和辅助驾驶系统领域具有广阔的应用前景。

主权项

一种基于视觉的交通信号灯自动检测识别方法，其特征在于：它包括如下两个阶段：训练阶段和测试阶段；训练阶段包括如下三个步骤：步骤1：训练数据准备：训练阶段需要准备训练数据集，该训练数据集来自无人驾驶车辆在城市交通环境中收集得到；典型交通信号灯按颜色分为红灯、绿灯和黄灯3种，由于黄灯停留时间短，且对无人驾驶车意义不大，故不考虑黄灯；根据我国交通法规对交通信号灯的规定，对无人驾驶车辆有重要意义的典型交通信号灯分为：机动车信号灯红灯即圆形发光单元、机动车信号灯绿灯即圆形发光单元、左转方向信号灯红灯即左箭头发光单元、左转方向信号灯绿灯即左箭头发光单元、右转方向信号灯红灯即右箭头发光单元、右转方向信号灯绿灯即右箭头发光单元、直行信号灯红灯即上箭头发光单元、直行信号灯绿灯即上箭头发光单元8个类别；(1)训练集S采用颜色空间滤波方法实现交通信号灯的候选区域筛选，故在训练阶段的交通信号灯形状确认中，采用将所有的红灯归为一类作为正样本集SPR，所有绿灯归为一类，作为正样本集SPG，再在交通图像上随机采取非交通信号灯图像块作为负样本集SN，并将样本集SPR、SPG和SN标记为训练集S；(2)训练集D为了分辨交通信号灯指示的方向信息，在方向确认中，采用将交通信号灯发光单元人工截取出来，并去色彩化，将圆形发光单元作为样本集DRD，左箭头发光单元作为样本集DLT，右箭头发光单元作为样本集DRT，上箭头发光单元作为样本集DUP，并将样本集DRD、DLT、DRT和DUP标记为训练集D；步骤2：目标颜色光谱收集：收集交通信号灯中红灯、绿灯的发光单元在图像中的RGB值复数个，进行RGB归一化，并分别求取其平均值，得到红灯和绿灯的目标颜色向量d_r＝[d_r1，d_r2，d_r3]和d_g＝[d_g1，d_g2，d_g3]，以备测试阶段求取交通信号灯的候选区域；步骤3：特征提取与线性SVM分类器训练(1)交通信号灯形状确认HOG特征被广泛应用于计算机视觉领域，由于交通信号灯发光单元具有强烈的颜色信息，而灯框与周围环境和发光单元又形成强烈的结构边缘信息，因此采用MHOG特征能提取出与负样本具有高区分度的交通信号灯特征；交通信号灯形状确认阶段的训练在训练集S上进行，具体提取过程如下：首先将训练集S中的每一个样本规范化到W_win×H_win大小的矩形检测窗口即Detection Window，DW，并将RGB图像转化为灰度图像产生灰度层Gray，同时将其RGB三个通道分离出来，从而产生具有四层Gray，R，G，B的合成图像，然后在每一个通道的DW上划分W_block×H_block大小的块Block，再在每一个块上以步长为stride划分W_cell×H_cell大小的胞元Cell，并在每一个胞元上统计出nbins个方向上的梯度方向直方图，且在每一个块上做归一化，从而将每一个通道的每一个胞元中的梯度方向直方图向量串联起来形成MHoG特征；在训练集S上的每一个样本得到MHOG特征之后，将SPR上提取的所有MHOG特征向量作为正样本并标记为+1，将SN上提取的所有MHOG特征向量作为负样本并标记为‑1，输送至线性SVM分类器中，调节参数，训练出交通信号灯红灯的分类器；同理，将SPG上提取的所有MHOG特征向量作为正样本并标记为+1，将SN上提取的所有MHOG特征向量作为负样本并标记为‑1，输送至线性SVM分类器中，调节参数，训练出交通信号灯绿灯的分类器，从而完成交通信号灯形状确认的训练过程；(2)交通信号灯指示方向确认交通信号灯指示方向确认是在交通信号灯形状确认的基础上完成的，其特征提取采用灰度图像上的HOG特征，分类器的训练采用One Vs All的方案，所有训练工作在训练集D上完成；具体流程如下：首先将样本集DRD上的所有HOG特征向量作为正样本并标记为+1，将样本集DLT、DRT和DUP上的所有HOG特征向量作为负样本并标记为‑1，输送至线性SVM分类器中，调节参数，训练出圆形发光单元的分类器；然后将样本集DUP上的所有HOG特征向量作为正样本并标记为+1，将样本集DLT和DRT上的所有HOG特征向量作为负样本并标记为‑1，输送至线性SVM分类器中，调节参数，训练出上箭头发光单元的分类器；最后将样本集DLT上的所有HOG特征向量作为正样本并标记为+1，将样本集DRT上的所有HOG特征向量作为负样本并标记为‑1，输送至线性SVM分类器中，调节参数，训练出左箭头发光单元和右箭头发光单元的分类器；测试阶段包括如下五个步骤：步骤1：计算机读取数据；首先将相机拍摄的具有3通道的RGB视频数据利用OpenCV开源库逐帧读入计算机内存中，为后续算法提供数据源，实验采用的测试数据是无人驾驶测试车辆采集到的与训练数据集不相同的帧率为25fps，图像大小为1000*1000的RGB三通道视频数据；步骤2：交通信号灯候选区域筛选；对每一幅待检测的交通图像，设其宽和高分别为w和H，则该图像具有N＝W×H个像素，并设每个像素为p_i＝(r_i，g_i，b_i)，i＝1，2，..，N，其中r_i，g_i，b_i分别为该像素的R，G，B通道的值；(1)图像RGB归一化；首先将采集到原始RGB图像进行RGB归一化，得到归一化的RGB图像，即对每个像素p_i＝(r_i，g_i，b_i)，i＝1，2，..，N，实施以下计算得到p_i′＝(p_i1′，p_i2′，p_i3′)${p_{i1}}^{\′}-\frac{r_i}{r_i+g_i+b_i}$${p_{i2}}^{\′}-\frac{g_i}{r_i+g_i+b_i}$${p_{i3}}^{\′}-\frac{b_i}{r_i+g_i+b_i}$(2)利用CEM算法计算颜色空间滤波向量；设待求三维滤波向量为w，事先收集的目标颜色向量为d，图像中每一个像素p_i′＝(p_i1′，p_i2′，p_i3′)经过滤波之后的能量输出为：$y_i=\underset{j=1}{\overset{3}{\mathrm{\Σ}}}{w}_j{p_{\mathrm{ij}}}^{\′}=w^T{p_i}^{\′}={p_i}^{{\′}^T}w$于是，整幅图像经过滤波之后的平均能量输出为：$E=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y_i}^2=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left({p_i}^{{\′}^T}w\right)}^T{p_i}^{{\′}^T}w=w^T\left(\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left({p_i}^{\′}{p_i}^{{\′}^T}\right)\right)w=w^T\mathrm{Rw}$其中，为归一化RGB图像的自相关矩阵，于是，通过求解如下最优化问题来得到待求滤波向量w：min w^TRws.t.d^Tw＝1于是得到w的封闭最优解：$w^{*}=\frac{R^{-1}d}{d^T\mathrm{Rd}}$(3)对归一化RGB图像滤波，得到候选区域；通过(2)求得该图像的w^*之后，对归一化RGB图像中每一个像素p_i′用w^*进行线性滤波，从而得到交通信号灯发光区域的候选区域；步骤3：连通域滤波；在经过颜色空间滤波得到初步候选区域之后，对候选连通域进行连通域分析，实现连通域滤波，该步骤主要完成对于连通域面积和连通域长宽比例的滤波；步骤4：交通信号灯形状确认；在得到连通域滤波之后，将候选区域在不同尺度上进行与训练阶段同样的大小归一化之后，采用与训练阶段同样的参数提取MHOG特征，并用训练阶段得到的SVM分类器系数对候选区域进行交通信号灯的形状确认，以完成交通信号灯的检测工作；步骤5：交通信号灯指示方向信息确认；在步骤4的基础上，根据颜色空间滤波得到的发光单元位置确定的矩形区域上完成与训练阶段同样的交通信号灯方向确认部分的HOG特征提取，并用训练得到的SVM分类器系数得到交通信号灯的指示方向信息，以完成交通信号灯的识别工作。