[发明专利]一种基于深度特征学习的快速交通信号灯检测方法

权利要求书

1.一种基于深度特征学习的快速交通信号灯检测方法，其特征在于包括下述步骤：

第一步：亮度滤波

根据交通信号灯的视觉特征，首先处理被检测图像的亮度信息；

首先，使用高斯滤波器均衡图像亮度差，同时可滤除图像中的高斯噪声，高斯滤波使用高斯核对图像进行处理，处理过程中对图像中每个像素都取该像素点周围与高斯核对应区域内像素点的加权平均值，高斯核中的像素点的值满足高斯分布；

其次，灰度化高斯滤波结果；灰度化公式如下：

Y＝max(0.9R-0.1G-0.3B,0.9G+0.1B-0.5R) (1)

式中，Y为灰度图像中像素点的灰度值，R为RGB彩色图像中像素点R通道值，G为RGB彩色图像中像素点G通道值，B为RGB彩色图像中像素点B通道值；

最后，利用图形形态学中的顶帽运算处理灰度图像，并将结果二值化，设置亮度阈值T，将顶帽运算结果中大于T值的区域的像素点的值设置为255，否则设置为0，得到满足亮度滤波条件的交通信号灯候选区域；

第二步：颜色分割

HSI色彩空间用色度H，饱和度S，亮度I三个分量来描述颜色，原始图像与二值图像中值为255的像素点相对应的区域从RGB色彩空间转换到HSI色彩空间，从RGB色彩空间到HSI色彩空间的转换公式如下所示：

其中r，g，b分别为RGB色彩空间中R，G，B值的归一化结果，如下所示：

以H值作为颜色分割条件，分别设置红灯与绿灯区域的筛选条件，保留满足相应条件的区域，颜色分割条件如下所示：

红灯区域：0≤H≤70,340≤H＜360 (6)

绿灯区域：110≤H≤250 (7)

第三步：几何滤波

经亮度滤波与颜色分割处理之后得到的二值图像中，交通信号灯区域的像素点的值应全部为255，在二值图像中交通信号灯区域为连通的，本发明采用8-邻域法检测二值图像中的连通域并画出其外接矩形框，然后通过外接矩形框的面积与长宽比对外接矩形框的几何特征做约束，滤除不满足面积与长宽比条件的矩形框，得到最终的交通信号灯候选区域；

所述的对外接矩形框的几何特征做约束为根据连通域的外界矩形框的长宽比Ratio与面积S的大小对进行几何约束，几何约束条件如下所示：

式中，S_min为交通信号灯外接矩形框的最小面积，S_max为交通信号灯外接矩形框的最大面积，width为交通信号灯外接矩形框的宽，heigth为交通信号灯外接矩形框的高；

对满足式(8)几何约束条件的连通区域做外接矩形框，并返回外接矩形框的坐标，根据该坐标信息从被检测图像中截取相应区域作为交通信号灯候选区域；

被检测图像中交通信号灯区域中的像素点的亮度值小于亮度滤波阈值T，或者色度H值不在颜色分割条件范围之内，则该像素点在亮度滤波或颜色分割过程中被滤除，使目标区域中部分像素点的值为0，即造成不连通的现象，先对被检测图像进行闭运算，以填补被检测图像中交通信号灯的不连通区域，然后再对连通区域做外接矩形框，闭运算定义如下所示：

其中，f为被操作图像，b为一个结构元素，运算⊙与运算分别为形态学变换中的腐蚀与膨胀操作，其定义如下：

f⊙b|(x,y)＝max{f(x-x',y-y')-b(x',y')|(x',y')∈D_b} (10)

其中，(x,y)为图像f中的像素点与结构元素b中心点的相对坐标，(x',y')为结构元素b中各元素相对其中心点的坐标，D_b为结构元素b内各点坐标集合；

第四步：使用卷积神经网络对交通信号灯候选区域进行分类

被检测图像经过第一步到第三步后，得到一个交通信号灯候选区域集合C，该集合C中包含每个交通信号灯候选区域边框的位置信息，其中第i个交通信号灯候选区域记为c_i(m,n,width,height)，其中m和n分别为候选边框左上角的顶点的横纵坐标，width和height分别为候选边框的宽和高，根据该位置信息从被检测图像中截取相应区域作为分类网络模型的输入图像，使用深度学习开源框架caffe训练卷积神经网络，得到具有分类能力的网络模型，将候选区域输入训练好的分类网络模型后得到分类结果，分类结果即交通信号灯候选区域的标签label将会被返回，得到检测结果集合D，集合D中包含每个交通信号灯候选区域的位置信息与分类结果，其中第i个交通信号灯候选区域记为d_i(m,n,width,height,label)，根据分类结果，输出当前交通信号灯信息，并在被检测图像中进行标记；

交通信号灯分类包括圆形红灯、圆形绿灯、左转红灯、左转绿灯、直行红灯、直行绿灯、右转红灯、右转绿灯，红色背景与绿色背景一共10个分类，对应10种分类网络预测结果，用数字0-9共10个分类标签label表示；

将从被检测图像中提取出的交通信号灯候选区域大小统一缩放至n×n个像素，然后将该候选区域作为卷积神经网络的输入，卷积神经网络由卷积层1、卷积层2、池化层1、卷积层3、卷积层4、池化层2、卷积层5、卷积层6、池化层3、全连接层1、全连接层2和输出层依次连接构成，输出层使用Softmax分类器得到10个输出，输出结果为当前输入图像被分类网络判定为10个分类的概率，并将分类网络输出结果中的最大概率值对应的分类标签输出，作为当前输入图像的分类结果；最后根据第一步到第三步的步骤得到交通信号灯位置坐标，在原始图像中画出交通信号灯区域，并使用分类标签标注交通信号灯类别。